[論文レビュー] Learning Representation Mapping for Relation Detection in Knowledge Base Question Answering

Peng Wu, Shujian Huang+5 more|arXiv (Cornell University)|Jul 17, 2019

Topic Modeling参考文献 32被引用数 6

ひとこと要約

本稿では、知識グラフの関係埋め込みと質問-三項対の関係埋め込みの間のマッピングを学習することで、知識ベース質問応答（KBQA）におけるゼロショット関係検出の性能を向上させる表現アダプタを提案する。敵対的および再構成目的を組み込むことで、訓練データに存在しない関係についても顕著な性能向上を達成し、同時に既存関係についても最先端の精度を維持する。これは、KBQAにおける汎化性能の重要なギャップを解消するものである。

ABSTRACT

Relation detection is a core step in many natural language process applications including knowledge base question answering. Previous efforts show that single-fact questions could be answered with high accuracy. However, one critical problem is that current approaches only get high accuracy for questions whose relations have been seen in the training data. But for unseen relations, the performance will drop rapidly. The main reason for this problem is that the representations for unseen relations are missing. In this paper, we propose a simple mapping method, named representation adapter, to learn the representation mapping for both seen and unseen relations based on previously learned relation embedding. We employ the adversarial objective and the reconstruction objective to improve the mapping performance. We re-organize the popular SimpleQuestion dataset to reveal and evaluate the problem of detecting unseen relations. Experiments show that our method can greatly improve the performance of unseen relations while the performance for those seen part is kept comparable to the state-of-the-art. Our code and data are available at https://github.com/wudapeng268/KBQA-Adapter.

研究の動機と目的

• 訓練データに存在しない未学習関係への既存のKBQAシステムの一般化性能の低さを解決すること。
• 特に未学習関係の表現学習の欠如に起因するゼロショット関係検出問題を深く検討すること。
• 広範な知識グラフから知識を転送することで関係検出を向上させる、新規なマッピング機構「表現アダプタ」を提案すること。
• SimpleQuestionデータセットを再編集し、既存関係と未学習関係の性能を別々に公平に評価できるようにする「SimpleQuestion-Balance」を構築すること。
• 既存関係のみで学習することでは不十分であり、KBQAにおいてゼロショット一般化を明示的に取り扱う必要があることを実証すること。

提案手法

• 大規模なKB（例：FB2M）から得られる知識グラフ埋め込みを活用し、人為的アノテーションによる訓練データのカバー範囲を超えて関係表現を事前学習すること。
• 質問-三項対の関係埋め込みを知識グラフの関係埋め込みにマップする、学習可能なマッピングヘッドである表現アダプタを訓練すること。
• 既存関係の初期学習を補助するために、平均二乗誤差損失を用いること。
• マッピングされた埋め込みの分布をターゲットの知識グラフ埋め込み空間と一致させるために、敵対的目的を導入すること。
• 再構成目的を適用し、マッピングされた空間から元の関係表現を再構成することで、意味的構造を保持すること。
• 既存関係と未学習関係の両方を用いてアダプタをファインチューニングし、未学習関係に対してもゼロショット推論を可能にすること。

実験結果

リサーチクエスチョン

• RQ1 最先端のKBQAシステムは、訓練データに存在しない未学習関係において、どの程度性能が低下するか？
• RQ2 知識グラフ埋め込みを用いることで、KBQAにおける未学習関係の表現学習を改善できるか？
• RQ3 敵対的、再構成などの訓練目的の中で、未学習関係への一般化性能を最も向上させるのはどれか？
• RQ4 既存関係と未学習関係の両方の検出性能を公平に評価できるバランスの取れたベンチマークをどのように構築できるか？
• RQ5 再訓練を全関係に対して行わずに、大規模知識グラフから質問応答モデルへ知識を効果的に転送できる単純なアダプタ機構は存在するか？

主な発見

• 提案された表現アダプタは、未学習関係におけるゼロショット関係検出性能を顕著に向上させ、それらのケースで失敗するベースラインモデルを上回る。
• 既存関係についても競争力ある性能を維持しており、それらを明示的に最適化していないにもかかわらず、最先端モデルと同等の精度を達成している。
• 敵対的および再構成目的が併用されることで、アダプタの一般化能力が向上し、アブレーションスタディにより両者の正の寄与が確認された。
• 事例スタディでは、語彙的キーワードが弱い状況下でも、アダプタが「music.recording.producer」（未学習）のような関係を正しく同定する一方で、ベースラインモデルは失敗することが示された。
• 再編集されたSimpleQuestion-Balanceデータセットは、訓練データとテストデータの関係に高い重複があるため、標準的な評価プロトコルがモデル性能を誇張していることを明らかにした。
• 結果から、既存関係の性能のみに依存することは誤解を招くことが示され、ゼロショット一般化は明示的に評価・最適化する必要があることが明らかになった。