[論文レビュー] Mark my Word: A Sequence-to-Sequence Approach to Definition Modeling

Timothee Mickus, Denis Paperno+1 more|arXiv (Cornell University)|Nov 13, 2019

Topic Modeling参考文献 36被引用数 6

ひとこと要約

本論文は、文脈に配慮した生成タスクとして定義モデリングを扱う、シーケンス・ツー・シーケンスのトランスフォーマーモデルを提案する。入力としてターゲット語を含む文を提示し、文脈的に適切な定義を生成する。文脈的および非文脈的定義モデリングの両方で、文脈符号化と定義生成を同時に学習することで、最先端の性能を達成する。

ABSTRACT

Defining words in a textual context is a useful task both for practical purposes and for gaining insight into distributed word representations. Building on the distributional hypothesis, we argue here that the most natural formalization of definition modeling is to treat it as a sequence-to-sequence task, rather than a word-to-sequence task: given an input sequence with a highlighted word, generate a contextually appropriate definition for it. We implement this approach in a Transformer-based sequence-to-sequence model. Our proposal allows to train contextualization and definition generation in an end-to-end fashion, which is a conceptual improvement over earlier works. We achieve state-of-the-art results both in contextual and non-contextual definition modeling.

研究の動機と目的

• 従来の定義モデリング手法が語からシーケンスへのタスクとして扱うのではなく、シーケンスからシーケンスへのタスクとして扱うという限界を解決すること。
• 定義生成プロセスにターゲット語の完全な使用文脈を組み込むことで、多義語の文脈的解釈の明確化を向上させること。
• 文脈に応じた語の符号化と定義生成をエンド・トゥ・エンドで学習可能にすることで、モデルの整合性と性能を向上させること。
• 定義モデリングを用いて文脈的および非文脈的単語埋め込みの両方を評価する統一されたベンチマークフレームワークを提供すること。
• 事前学習済み埋め込みと定義データセットのみを用いて、低リソース言語および複合語表現へのモデルの拡張可能性を検討すること。

提案手法

• 定義モデリングをシーケンス・ツー・シーケンスのタスクとして扱う：ターゲット語が強調された入力シーケンスが与えられ、文脈的に適切な定義が生成される。
• 入力シーケンスをモデル化し、出力定義シーケンスを生成するために、トランスフォーマーベースのエンコーダ・デコーダアーキテクチャを採用する。
• 定義語の事前学習済み語の埋め込みを入力として使用し、再訓練を伴わずに埋め込みベースの意味表現を保持する。
• エンド・トゥ・エンドでの学習により、文脈符号化と定義生成を同時に最適化し、モデルが直接文脈的依存関係を学習できるようにする。
• 推論時には標準的なシーケンス・ツー・シーケンス学習（交差エントロピー損失）とビームサーチデコードを適用する。
• 定義語を含む完全な文をエンコードすることで文脈的手がかりを統合し、孤立した文脈断片に依存しない。

実験結果

リサーチクエスチョン

• RQ1 定義モデリングをシーケンス・ツー・シーケンスのタスクとして扱うことで、語からシーケンスへのベースラインと比較して性能が向上するか？
• RQ2 文脈符号化と定義生成のエンド・トゥ・エンド学習は、パイプラインアプローチと比較してモデル性能にどのように影響するか？
• RQ3 シーケンス・ツー・シーケンスモデルが多義語の文脈的に適切な定義をどの程度正確に捉えることができるか？
• RQ4 モデルは文脈的および非文脈的定義モデリングベンチマークの両方でどの程度の性能を示すか？
• RQ5 主な失敗モード（例：幻覚や偏りのある定義）は何か、そしてそれらをどのように緩和できるか？

主な発見

• 提案されたシーケンス・ツー・シーケンスモデルは、文脈的および非文脈的定義モデリングベンチマークの両方で最先端の結果を達成した。
• 文脈符号化モデル（Gadetskyら, 2018）や同アーキテクチャのパイプラインベースのSelectバージョンと比較して、本モデルは優れた性能を示した。
• 完全な文の文脈を活用することで、曖昧語の解釈を明確にし、強い性能を発揮した。
• 強力な結果を示したが、分布的表現の根拠づけの課題として、幻覚（例：「ベータ」が20番目のギリシャ文字であると誤って記述）が顕在した。
• 偏りや不完全な定義（例：「ブラックフェイス」を「劇場に関連する、または劇場的特徴を持つもの」とのみ記述し、その差別的含みを省略）を生成する傾向も示した。
• 著者らは、分布的語の埋め込みにのみ依存する場合に、幻覚的または偏った出力を検出・フィルタリングするためのより良いツールとメトリクスの開発が不可欠であると指摘した。