[論文レビュー] Interpreting Winograd Schemas Via the SP Theory of Intelligence and Its Realisation in the SP Computer Model

J. Gerard Wolff|arXiv (Cornell University)|Oct 9, 2018

Computability, Logic, AI Algorithms参考文献 34被引用数 6

ひとこと要約

本稿では、SP理論（SP Theory of Intelligence）をSPコンピュータモデルで実装することで、言語的特徴と意味的知識の間の不連続な関連性を活用し、Winogradスキーマ（WS）の曖昧性を解消できると提唱している。文構造を意味的役割にマッピングするパターン一致を通じて、文脈的および一般常識的知識を用いて、'they' などの代名詞を解釈し、ヒューリスティクスに依存せずにテストケースで正確な解釈を達成する。

ABSTRACT

In 'Winograd Schema' (WS) sentences like "The city councilmen refused the demonstrators a permit because they feared violence" and "The city councilmen refused the demonstrators a permit because they advocated revolution", it is easy for adults to understand what "they" refers to but can be difficult for AI systems. This paper describes how the SP System -- outlined in an appendix -- may solve this kind of problem of interpretation. The central idea is that a knowledge of discontinuous associations amongst linguistic features, and an ability to recognise such patterns of associations, provides a robust means of determining what a pronoun like "they" refers to. For any AI system to solve this kind of problem, it needs appropriate knowledge of relevant syntax and semantics which, ideally, it should learn for itself. Although the SP System has some strengths in unsupervised learning, its capabilities in this area are not yet good enough to learn the kind of knowledge needed to interpret WS examples, so it must be supplied with such knowledge at the outset. However, its existing strengths in unsupervised learning suggest that it has potential to learn the kind of knowledge needed for the interpretation of WS examples. In particular, it has potential to learn the kind of discontinuous association of linguistic features mentioned earlier.

研究の動機と目的

• 曖昧な代名詞を含むWinogradスキーマ（WS）文の解釈という課題を、統一的な認知的枠組みを用いて取り扱うことを目的とする。
• SPシステムが文法、意味、世界知識を統合することで、WSの解釈を解消できることを示すこと。
• 言語的特徴間の不連続な関連性が、単純な選択的制限を越えた堅牢な曖昧性解消を可能にすることを示すこと。
• 現在の制限を考慮しても、SPフレームワーク内でのそのような知識の自己教師なし学習の可能性を検討すること。
• 自然言語理解における一般常識的推論のための形式的で解釈可能なメカニズムを提供すること。

提案手法

• SPシステムは、表面的な文構造と下位の意味的役割を結びつけるために、SPパターンの複数の一致を用いる。
• 各語は、表面形、意味、文法的カテゴリ（例：'N n3 councilmen COUNCILMEN PEACE_LOVING #N'）を備えたSPパターンとして表現される。
• 文構造（例：'the city councilmen refused the demonstrators a permit'）は、エージェント、行動、目的語、対象などの役割を備えたSPパターンとしてエンコードされる。
• 意味構造（例：'actionA agentA patientA objectA'）は、マッチング記号（例：'agnt_a #agnt_a' が 'agentA' と一致）を介して文構造パターンと一致される。
• 曖昧性解消は、特に代名詞とその先行詞を結ぶ不連続な関連性のパターンに最も適合する意味的解釈を評価することで達成される。
• 現在のSP学習能力が不十分なため、政治的役割や動機に関する事前供給済みの世界知識に依存している。

実験結果

リサーチクエスチョン

• RQ1 SPシステムは、文法的および意味的パターン一致を用いて、Winogradスキーマの項目における代名詞の曖昧性をどのように解消できるか？
• RQ2 言語的特徴と意味的役割の間の不連続な関連性が、WSの曖昧性解消に果たす役割は何か？
• RQ3 SPシステムは、ヒューリスティックな裏技や選択的制限に依存せずにWS項目を解釈できるか？
• RQ4 SPシステムの現在の自己教師なし学習能力が、WS解釈に必要な一般常識的知識の習得をどの程度支援できるか？
• RQ5 SPフレームワークにおける文法と意味の統合が、どのように堅牢で解釈可能な曖昧性解消を可能にするか？

主な発見

• SPシステムは、不連続な関連性を用いた文法的・意味的パターン一致を通じて、3つのWinogradスキーマ項目における代名詞の曖昧性を成功裏に解消した。
• 'The city councilmen refused the demonstrators a permit because they feared violence' において、'they' は意味的妥当性と役割一致に基づき、市議会議員を指していると解釈された。
• 'The city councilmen refused the demonstrators a permit because they advocated revolution' において、システムは正しく 'they' がデモ参加者を指していると特定した。これは意味的整合性とパターンマッチングに基づく。
• 表面的な共起統計に依存するのではなく、統合的な文法的・意味的パターン一致に依存することで、'安易な裏技' や選択的制限を回避した。
• SPシステムが共有の記号的構造を通じて文法と意味を表現・統合できる能力のおかげで、曖昧な文の整合的な解釈が可能になった。
• 現在のところ事前知識が必要であるが、そのアーキテクチャは、将来的な自己教師なし学習によるその種の知識習得の強力な可能性を示している。