[論文レビュー] Positional Attention-based Frame Identification with BERT: A Deep Learning Approach to Target Disambiguation and Semantic Frame Selection

Sang-Sang Tan, Jin‐Cheon Na|arXiv (Cornell University)|Oct 31, 2019

Topic Modeling参考文献 49被引用数 4

ひとこと要約

PAFIBERTは、ターゲット固有の文脈に注目する位置注意メカニズムを用いたBERTベースの深層学習モデルであり、フレーム抽出の精度を向上させる。ドメイン内およびドメイン外のベンチマークで最先端の性能を達成しており、フレームフィルタリングを用いないことで、曖昧なターゲットや未学習の語彙単位の処理において優れた性能を示している。

ABSTRACT

Semantic parsing is the task of transforming sentences from natural language into formal representations of predicate-argument structures. Under this research area, frame-semantic parsing has attracted much interest. This parsing approach leverages the lexical information defined in FrameNet to associate marked predicates or targets with semantic frames, thereby assigning semantic roles to sentence components based on pre-specified frame elements in FrameNet. In this paper, a deep neural network architecture known as Positional Attention-based Frame Identification with BERT (PAFIBERT) is presented as a solution to the frame identification subtask in frame-semantic parsing. Although the importance of this subtask is well-established, prior research has yet to find a robust solution that works satisfactorily for both in-domain and out-of-domain data. This study thus set out to improve frame identification in light of recent advancements of language modeling and transfer learning in natural language processing. The proposed method is partially empowered by BERT, a pre-trained language model that excels at capturing contextual information in texts. By combining the language representation power of BERT with a position-based attention mechanism, PAFIBERT is able to attend to target-specific contexts in sentences for disambiguating targets and associating them with the most suitable semantic frames. Under various experimental settings, PAFIBERT outperformed existing solutions by a significant margin, achieving new state-of-the-art results for both in-domain and out-of-domain benchmark test sets.

研究の動機と目的

• フレーム意味解析におけるロバストなフレーム同定の課題、特に曖昧なターゲットやドメイン外データに対して対処すること。
• BERTのような事前学習言語モデルを活用し、ターゲットの意味解釈に適した文脈表現を向上させること。
• 同じターゲットが文に複数出現する場合に、それらの位置的文脈の違いに注目することで、個々のインスタンスを効果的に区別する手法を開発すること。
• フレームフィルタリングへの依存を最小限に抑えることで、未学習のターゲットや非連続的な複合語語彙単位への一般化性能を向上させること。
• 候補フレームの制約と文脈の柔軟性のトレードオフを調整し、モデルのロバスト性と精度を向上させること。

提案手法

• 入力文の文脈的表現を生成するために、BERTを文脈エンコーダーとして使用する。
• ターゲットの文における位置に応じて、その周囲の文脈に選択的に注目できる位置ベースの注意メカニズムを導入する。
• BERT埋め込み表現の系列上に多頭注意メカニズムを適用し、各ターゲットに対して関連する文脈に注目することで、同音異義語的ターゲットの解釈を改善する。
• フレームフィルタリングあり（FrameNetの候補フレームを使用）となしの2つのバリエーションを採用し、ロバストネスと一般化性能のトレードオフを評価する。
• 各ターゲットの最も適切な意味フレームを予測するために、分類ヘッドを備えたBERTエンコーダーを微調整する。
• 各ターゲットインスタンスのフレーム予測を最適化するため、トレーニング中にクロスエントロピー損失を用いる。

実験結果

リサーチクエスチョン

• RQ1 位置注意を備えたBERTベースのモデルは、ドメイン内およびドメイン外のテストセットにおいて、既存手法よりもフレーム同定の正確性を向上させることができるか？
• RQ2 フレームフィルタリングの有無は、未学習のターゲットや非連続的な複合語語彙単位への一般化性能にどのように影響するか？
• RQ3 フレーム制約に依存せずに、非常に混同されやすいフレーム間の微細な意味的違いをどれだけ解消できるか？
• RQ4 位置ベースの注意メカニズムは、1文内に同じターゲットが複数出現する場合に、効果的にそれらを区別できるか？
• RQ5 フレームに依存しないバージョンのモデルは、ドメイン特化型またはレアな語彙使用に対処する際に、フレームフィルタリング付きの対比モデルを上回ることができるか？

主な発見

• PAFIBERTは、フレーム同定のドメイン内およびドメイン外ベンチマークデータセットで、新たな最先端の結果を達成した。
• フレームフィルタリングなしのバージョンが、例えば 'give up.v' のように 'it' が 'give' と 'up' の間に挿入された非連続的な複合語語彙単位の処理で、フィルタリングありバージョンを上回った。
• フレームフィルタリングなしのPAFIBERTは、ビューティー分野の文脈で 'highlighting' を [Body_decoration] として正しく同定した。これは、分野に適したフレーム選択が可能であることを示している。
• 位置ベースの注意メカニズムにより、文脈特化型の特徴に注目することで、曖昧なターゲットの処理性能が向上した。
• その利点にもかかわらず、フィルタリングなしのバージョンは、極めて曖昧なターゲット（例：'worth' が [Earnings_and_losses] と予測され、[Deserving] であるべきところ）を誤分類することがあり、文脈の変動に敏感であることが示された。
• 最も頻度の高いフレーム誤混淆ペアが、正確性の損失の主な要因であることが判明し、今後の研究ではこれらの微細な違いの解消に焦点を当てるべきである。