[論文レビュー] Facts as Experts: Adaptable and Interpretable Neural Memory over Symbolic Knowledge

Pat Verga, Haitian Sun+2 more|arXiv (Cornell University)|Jul 2, 2020

Topic Modeling参考文献 37被引用数 27

ひとこと要約

この論文では、解釈可能で、柔軟かつ更新可能な事実的推論を可能にする、神経言語モデルであるFaE（Facts as Experts）を提案する。事実のリアルタイムでのインジェクションと変更が再訓練を伴わずに可能であるため、推論時に新しい事実をインジェクションした際、知識集約型QAタスクで9.3%の性能向上を達成し、標準モデルよりも精度と解釈可能性の両面で優れている。

ABSTRACT

Massive language models are the core of modern NLP modeling and have been shown to encode impressive amounts of commonsense and factual information. However, that knowledge exists only within the latent parameters of the model, inaccessible to inspection and interpretation, and even worse, factual information memorized from the training corpora is likely to become stale as the world changes. Knowledge stored as parameters will also inevitably exhibit all of the biases inherent in the source materials. To address these problems, we develop a neural language model that includes an explicit interface between symbolically interpretable factual information and subsymbolic neural knowledge. We show that this model dramatically improves performance on two knowledge-intensive question-answering tasks. More interestingly, the model can be updated without re-training by manipulating its symbolic representations. In particular this model allows us to add new facts and overwrite existing ones in ways that are not possible for earlier models.

研究の動機と目的

• 神経言語モデルのパラメータに格納された事実的知識の不透明さと不柔軟性に対処する。
• モデルの再訓練を伴わずに、事実的知識をリアルタイムで非パrametricに更新できるようにする。
• 学習済みパラメータから記号的事実を分離することで、解釈可能性を向上させ、バイアスを低減する。
• 元の事前学習データに存在しない新しいまたは修正済みの事実に対して、モデルが推論できるようにする。
• 事実的知識を推論時に動的に変更でき、現実世界の変化を反映できることを示す。

提案手法

• 事前学習済み言語モデルに、記号的で非パrametricな事実メモリ（例：(エンティティ, 関係, エンティティ)のような三元組）を統合する。
• 推論中に、微分可能アテンション機構を用いて記号的メモリから関連する事実を検索する。
• 取得した記号的事実と、Transformerエンコーダーからの文脈埋め込みを組み合わせて予測を生成する。
• モデル重みの変更なしに、推論時にユーザーがメモリに事実をインジェクションまたは上書きできるようにする。
• データ漏洩を回避するため、フィルタリング済みの訓練データ上で微調整されたバージョンのモデルを用いる。一般化性能を評価する。
• 微調整中に早期停止を適用することで、一般化性能を維持しつつ、修正済みの知識でテストを行う。

実験結果

リサーチクエスチョン

• RQ1 再訓練を伴わずに、推論時に新たにインジェクションされた記号的事実を神経言語モデルが効果的に統合し、推論できるか。
• RQ2 元の事前学習知識を上書きする矛盾する事実に対して、モデルがどの程度適応できるか。
• RQ3 現実世界の変化を反映するために事実的知識が更新された場合、性能はどの程度低下するか。また、モデルは依然として一般化できるか。
• RQ4 記号的メモリのインジェクションが、標準的な微調整手法を上回る事実的QAのパフォーマンス向上をもたらすか。
• RQ5 顕在的な記号的事実に依存する場合と、顕在的知識に依存する場合とで、モデルのパフォーマンスはどのように異なるか。

主な発見

• 推論時に新しい事実をインジェクションした場合、FreebaseQAにおいてFaEはフィルタリング済み設定と比較して9.3%の絶対的性能向上を達成した。
• WebQuestionsSPでは、新しい事実をインジェクションした際、FaEはフィルタリングベースラインに対して6.9%の向上を示し、強固な一般化性能を示した。
• 事前学習中に存在しなかった事実をインジェクションした場合でも、FaEは48.0%のF1スコアを維持し、パラメータ化された知識に依存するモデルを上回った。
• 元の答えを妥当な代替案に置き換えた場合、FaEは30%の修正済み質問に対して正しく回答でき、矛盾する知識に対して部分的な耐性を示した。
• 推論時に元の事実を新しいものに上書きすることができ、再訓練なしに動的適応性を示した。
• FaEは、新しい知識統合メカニズムを欠いたベースラインEaEモデルを、インジェクション事実設定において上回った。