[論文レビュー] A Hybrid Neural Network Model for Commonsense Reasoning

Pengcheng He, Xiaodong Liu+2 more|arXiv (Cornell University)|Jul 27, 2019

Topic Modeling参考文献 29被引用数 7

ひとこと要約

本論文は、共通のBERTベースの文脈エンコーダーを用いて、マスクド言語モデル（MLM）と意味的類似度モデル（SSM）を組み合わせたハイブリッドニューラルネットワーク（HNN）モデルを提案する。このHNNは、順序付け損失を用いたマルチタスク学習により、2つのコンponentが補完的であることを示し、常識的推論の向上を実現した。3つのベンチマークで最先端の性能を達成した：WNLIで89.0%、WSCで75.1%、PDP60で90.0%。

ABSTRACT

This paper proposes a hybrid neural network (HNN) model for commonsense reasoning. An HNN consists of two component models, a masked language model and a semantic similarity model, which share a BERT-based contextual encoder but use different model-specific input and output layers. HNN obtains new state-of-the-art results on three classic commonsense reasoning tasks, pushing the WNLI benchmark to 89%, the Winograd Schema Challenge (WSC) benchmark to 75.1%, and the PDP60 benchmark to 90.0%. An ablation study shows that language models and semantic similarity models are complementary approaches to commonsense reasoning, and HNN effectively combines the strengths of both. The code and pre-trained models will be publicly available at https://github.com/namisan/mt-dnn.

研究の動機と目的

• 自然言語理解における常識的推論を向上させるために、言語モデルと意味的類似度アプローチを統合すること。
• 表面的なテキストを超える暗黙の常識的知識を必要とするウィノグラードスキーマと代名詞解釈タスクにおける照応処理の課題に対処すること。
• マスクド言語モデルと意味的類似度モデルが常識的推論において補完的であるかどうかを調査すること。
• 共通のBERTエンコーダーを用いたマルチタスク学習により、両者のインダクティブバイアスを活用するハイブリッドモデルを開発すること。
• 順序付け損失の目的関数が、推論タスク全体におけるモデルの汎化性能を向上させることの有効性を検証すること。

提案手法

• HNNモデルは、マスクド言語モデル（MLM）とディープ意味的類似度モデル（SSM）の2つのコンponentモデルを統合し、両者ともBERTベースの文脈エンコーダーを共有する。
• 各コンponentモデルは、それぞれのタスクに特化した入力・出力層を備える：MLMは、代名詞置換後の次トークン確率を予測する。一方、SSMは、代名詞と候補となる先行詞表現間のコサイン類似度を計算する。
• 最終的な予測は、両モデルのスコアを重み付き統合戦略により統合することで得られる。
• 学習手順は2段階である：まず大規模な生テキスト上でBERTエンコーダーを事前学習し、次にWSCRデータセット上でマルチタスク微調整を行う。
• 正例と誤例の相対的順序を最適化するための順序付け損失が導入され、二値分類を超えた汎化性能の向上が図られる。
• 最後の6エポックにおけるモデルアンサンブルにより、特にWNLIベンチマークで性能が向上した。

実験結果

リサーチクエスチョン

• RQ1 マスクド言語モデルと意味的類似度モデルは、常識的推論タスクにおいて補完的であるか？
• RQ2 両アプローチを統合したハイブリッドモデルは、個々のモデルを上回る性能を示せるか？
• RQ3 訓練中に順序付け損失を含めることで、照応処理タスクの性能が向上するか？
• RQ4 常識的推論は、順序付け問題として定式化するほうが、二値分類問題として定式化するよりも適切か？
• RQ5 最終予測における複数のモデルチェックポイントのアンサンブルによる性能向上はどの程度顕著か？

主な発見

• HNNモデルはWNLIベンチマークで89.0%の新記録を達成し、前例に比べて5.4%の絶対的向上を示した。
• WSCベンチマークでは75.1%の精度を達成し、前例のモデルを著しく上回った。
• PDP60ベンチマークでは90.0%の精度を達成し、代名詞解釈への強い汎化能力を示した。
• アブレーションスタディの結果、MLMまたはSSMのいずれかを削除すると顕著な性能低下が生じ、両者の補完的役割が確認された。
• 順序付け損失の導入により、WNLI、WSCR、WSCの各タスクで性能向上が見られ、特にWNLIで最大の向上（2.3%の絶対的向上）を示した。
• HNNモデルでは、順序付け定式化が分類定式化を約2.5%の精度向上で上回り、このタスクにおいて順序付けがより効果的なタスク定式化であることが示された。