[論文レビュー] On the Possibilities and Limitations of Multi-hop Reasoning Under Linguistic Imperfections

Daniel Khashabi, Erfan Sadeqi Azer+3 more|arXiv (Cornell University)|Jan 8, 2019

Natural Language Processing Techniques参考文献 44被引用数 12

ひとこと要約

本稿は、言語的ノイズ下での自然言語理解におけるマルチホップ推論の限界を分析する形式的枠組みを導入し、明確でない概念的意味とノイズを含む言語的表現とのギャップをモデル化する。単純化されたグラフ上の接続性問題においても、必要なホップ数が対数的に増加するにつれ、語彙から意味への対応付けにおけるノイズの蓄積により、推論システムは根本的な不可能性に直面することを示し、進歩には複雑な推論への投資の前により豊かな表現が必要であることを示唆する。

ABSTRACT

Systems for language understanding have become remarkably strong at overcoming linguistic imperfections in tasks involving phrase matching or simple reasoning. Yet, their accuracy drops dramatically as the number of reasoning steps increases. We present the first formal framework to study such empirical observations. It allows one to quantify the amount and effect of ambiguity, redundancy, incompleteness, and inaccuracy that the use of language introduces when representing a hidden conceptual space. The idea is to consider two interrelated spaces: a conceptual meaning space that is unambiguous and complete but hidden, and a linguistic space that captures a noisy grounding of the meaning space in the words of a language---the level at which all systems, whether neural or symbolic, operate. Applying this framework to a special class of multi-hop reasoning, namely the connectivity problem in graphs of relationships between concepts, we derive rigorous intuitions and impossibility results even under this simplified setting. For instance, if a query requires a moderately large (logarithmic) number of hops in the meaning graph, no reasoning system operating over a noisy graph grounded in language is likely to correctly answer it. This highlights a fundamental barrier that extends to a broader class of reasoning problems and systems, and suggests an alternative path forward: focusing on aligning the two spaces via richer representations, before investing in reasoning with many hops.

研究の動機と目的

• 自然言語表現における概念的意味の不完全さ—曖昧さ、冗長性、不完全性、不正確さ—を形式的に定量化すること。
• 記号の接地問題を、隠れた明確な意味空間とノイズを含む言語的空間との間の写像としてモデル化すること。
• この枠組みにおいて、特に概念的グラフにおける接続性問題に関して、マルチホップ推論の根本的限界を調査すること。
• 必要なホップ数がグラフのサイズに対して対数的に増加する際、ノイズを含む言語的表現上で動作する推論システムが、マルチホップタスクを信頼性を持って解くことができないことを示すこと。
• マルチホップタスクのための推論アーキテクチャの発展に投資する前に、表現の正確性を高めることの重要性を提唱すること。

提案手法

• 相互に関連する二つの空間を定義する：隠れで明確な概念的意味空間と、不完全な語彙-意味対応を表すノイズを含む言語的空間。
• ランダムグラフ過程を用いて言語的ノイズをモデル化する：言語的グラフは意味グラフのランダムな摂動であり、真の辺には確率$p_+$、誤りの辺には確率$p_-$を割り当てる。
• 推論を、意味グラフにおける接続性（経路の存在）を特定する言語的グラフ上の推論として形式化する。
• スぺクトルグラフ理論を用いて、言語的グラフと意味グラフの隣接行列の$L_2$ノルムの差を評価し、それが$\tfrac{\text{$\mathcal{B}$}(1)}{\text{近傍のサイズ}}$に比例することを示す。
• 確率的集中不等式（例：補題28）を適用し、$n$が増加するにつれて$\tfrac{\text{誤差}}{\text{信号}}$が任意に小さくなることを示し、正しい経路と誤った経路を区別できなくなることを示す。
• インジケータ関数の連続的・リプシッツ的関数への分解としきい値処理を用いて、ノイズ下での推論のロバスト性を形式化する。

実験結果

リサーチクエスチョン

• RQ1 曖昧さ、不正確さ、不完全性といった言語的不完全さが、自然言語理解におけるマルチホップ推論をどの程度損なうか？
• RQ2 ノイズを含む言語的表現上で動作する推論システムは、多数のホップを要する概念的グラフにおける接続性問題を信頼性を持って解けるか？
• RQ3 グラフサイズに対してホップ数が対数的に増加する際、推論の正確性の理論的限界は何か？
• RQ4 ホップ数が増加するにつれて、言語的表現における信号対ノイズ比はどのように劣化するか？
• RQ5 特に長い経路において、意味グラフのランダムな摂動である言語的グラフ上で、正しい推論結果を達成することは可能か？

主な発見

• 意味グラフにおける中程度の（対数的）ホップ数において、ノイズを含む言語的グラフ上で動作するいかなる推論システムも、信号の劣化によりクエリに信頼性を持って応答できない。
• 隣接行列の差の誤差対信号比は、$\frac{\lambda\mathcal{B}(1)}{\sqrt{2\lambda n\log(\lambda n)}}$により上界が与えられ、$n$が増加するにつれて0に近づくため、根本的な信頼性の欠如を示唆する。
• たとえ$\tilde{d} \in \Omega(\log(\lambda n))$であっても、言語的グラフにおける$\tilde{d}$-近傍はほとんど確実にグラフ全体をカバーするが、ノイズのため接続性の推論は失敗する。
• この枠組みにより、元の集合が開集合でも閉集合でもない場合には、インジケータ関数が連続的・リプシッツ的関数によってロバストに近似できないことが示され、トポロジカルな障壁を明らかにする。
• 実験的結果から、$p_-$（ノイズ率）が高いと、言語的グラフと意味グラフの距離の間の相関は低ノイズレベルでのみ強く現れ、理論的信号対ノイズ比の崩壊を確認する。
• 本研究は、知識の接地や文脈的埋め込みを用いた表現の正確性の向上が、マルチホップ推論システムの発展に投資する前の前提条件であることを確立する。