[論文レビュー] A Simple Machine Learning Method for Commonsense Reasoning? A Short Commentary on Trinh & Le (2018).

Walid S. Saba|arXiv (Cornell University)|Oct 1, 2018

Natural Language Processing Techniques参考文献 3被引用数 6

ひとこと要約

この記事は、Trinh & Le (2018)の共通理解推論のためのデータ駆動型手法を批判している。この手法は文の完成形の確率順位を用いて代名詞を解消する。しかし、機能語の感度に対応できないこと、語彙的変異による組み合わせ的爆発、そして最も重要なことに、暗黙の前提知識をモデル化できないことから、根本的に真の言語理解に不適切であると主張する。

ABSTRACT

This is a short Commentary on Trinh & Le (2018) ("A Simple Method for Commonsense Reasoning") that outlines three serious flaws in the cited paper and discusses why data-driven approaches cannot be considered as serious models for the commonsense reasoning needed in natural language understanding in general, and in reference resolution, in particular.

研究の動機と目的

• Trinh & Leの手法がNLUにおける共通理解推論のための実用的で単純な解決策であるという主張に反論すること。
• データ駆動型アプローチが、参照解消に不可欠な暗黙の背景知識をモデル化できないことを示すこと。
• 訓練データに明示的に記載されていない参照対象に対して、大規模コーパスにおける統計的相関に依存するアプローチが失敗することを示すこと。
• 意味を変える機能語の置換（例：'because' vs. 'although'、'is' vs. 'isn't'）が、モデル内で区別できないほど類似した確率スコアを生じさせることで、その推論能力が損なわれることを示すこと。
• 真の世界知識を必要とするコアなNLUタスクへのデータ駆動型手法の拡張を警鐘すること。

提案手法

• 代名詞 'it' を候補となる先行詞（例：'the trophy' や 'the suitcase'）に置き換え、その結果得られる文の確率を大規模コーパス内で計算する確率ベースの手法を提案する。
• 2つのスコアリング戦略を用いる：'full'（変更された文全体の確率）と 'partial'（先行詞の文脈を条件とした述語の条件付き確率、例：'is too big'）。
• LM-1-Billion、CommonCrawl、SQuAD などの事前学習済み言語モデルを用いて、文のバリエーションの確率を推定する。
• 『partial』スコアリング戦略を好む。これは先行詞と文の冒頭を条件としており、関連する文脈をより明確に分離できると主張する。
• 象徴的知識や手作業で設計された特徴量を一切使用せず、統計的共起頻度に依存する。
• 最も確率の高い文の完成形を正しい参照対象とみなす。これは高い確率がより良い共通理解の整合性を示すと仮定している。

実験結果

リサーチクエスチョン

• RQ1 コーパス頻度に基づく完全にデータ駆動型の手法が、Winogradスケール風の文において代名詞を信頼性高く解消できるか？
• RQ2 この手法は 'because' と 'although'、'is' と 'isn't' のような機能語による意味的差を適切に扱っているか？
• RQ3 統計的モデルは、テキストに明示的に記載されていないが、共有される世界知識によって暗黙的に示唆される参照対象を捉えることができるか？
• RQ4 この手法は、与えられた文構造のすべての語彙的・構文的バリエーションにスケーラブルか？
• RQ5 訓練データに存在しないが、暗黙的に仮定されている正しい参照対象がある場合、データにのみ依存するモデルは一般化可能か？

主な発見

• 報告された70%の正確度は誤解を招く。これは、別個の訓練例を要する指数関数的な文のバリエーション数を考慮していないためである。
• 機能語（例：'because'、'although'、'is'、'isn't'）は意味を大きく変えるが、それらの確率スコアはほぼ同一であり、モデルの共通理解推論能力に信頼性を欠く。
• 正しい参照対象がテキストにまったく存在しない場合（例：文(3)における 'guitar'）、それが暗黙的に理解されているにもかかわらず確率が定義されないため、モデルは失敗する。
• 類似した単語埋め込みを持つ語（例：'trophy' と 'winner'）の間でも一般化できない。これはタイプレベルの意味的構造が欠落しているためである。
• データ駆動型モデルは『欠落したテキスト』、つまり言語理解に不可欠な暗黙の背景知識をモデル化できない。したがって、真の共通理解推論には根本的に不適切である。
• このアプローチは、特に参照解消において、人間水準の言語理解への道筋とはなり得ない。なぜなら、統計的共起性を超えて推論できないからである。