[論文レビュー] Ecological Semantics: Programming Environments for Situated Language Understanding

Ronen Tamari, Gabriel Stanovsky+2 more|arXiv (Cornell University)|Mar 10, 2020

Topic Modeling参考文献 41被引用数 4

ひとこと要約

本稿では、自然言語理解システムが環境を一次的実体として扱い、インタラクティブ・フィクションにインspiredされたプログラミング言語を用いて、実装可能な行動可能性（アフォーダンス）をモデル化する生態的意味論——という枠組みを提案する。言語による環境仕様の理解と生成を可能にすることで、スケーラブルで実行可能な常識知識のマイニングと、静的データセットを超えた一般化の向上を実現する。

ABSTRACT

Large-scale natural language understanding (NLU) systems have made impressive progress: they can be applied flexibly across a variety of tasks, and employ minimal structural assumptions. However, extensive empirical research has shown this to be a double-edged sword, coming at the cost of shallow understanding: inferior generalization, grounding and explainability. Grounded language learning approaches offer the promise of deeper understanding by situating learning in richer, more structured training environments, but are limited in scale to relatively narrow, predefined domains. How might we enjoy the best of both worlds: grounded, general NLU? Following extensive contemporary cognitive science, we propose treating environments as "first-class citizens" in semantic representations, worthy of research and development in their own right. Importantly, models should also be partners in the creation and configuration of environments, rather than just actors within them, as in existing approaches. To do so, we argue that models must begin to understand and program in the language of affordances (which define possible actions in a given situation) both for online, situated discourse comprehension, as well as large-scale, offline common-sense knowledge mining. To this end we propose an environment-oriented ecological semantics, outlining theoretical and practical approaches towards implementation. We further provide actual demonstrations building upon interactive fiction programming languages.

研究の動機と目的

• 現在のNLUシステムが静的で限定的なデータセットに依存しており、深い意味の根拠づけ、説明可能性、体系的な一般化に欠けているという限界を是正すること。
• 既存の意味的根拠のある言語学習におけるスケーラビリティと根拠のジレンマを克服するため、環境をプログラマブルで再利用可能なコンポーネントとして扱うこと。
• NLUモデルがアフォーダンスの言語——例：「このバッグは20kgまで持ち込める」——を用いて、環境記述を理解・生成可能とすることで、構造的かつ実行可能な知識の基盤を築くこと。
• モデルが共同で環境を生成・推論するインタラクティブでプログラム可能な環境内において、記号的・身体的・分布的意味論を統一された枠組みで統合すること。
• 大規模でオフラインの常識知識マイニングと、オンラインの対話理解が、生態的認知に根ざした行動プログラミングパラダイムを通じて統合可能であることを示すこと。

提案手法

• 行動プログラミングパラダイムを用いて、自然言語による環境記述を実行可能でプログラム可能な表現に変換する、生態的意味論プログラミング（Ec-SP）という意味解析フレームワークを提案する。
• インタラクティブ・フィクション（IF）言語（例：Inform7）を形式的表現として用い、行動と制約（例：「持ち込める」「超えてはいけない」）を実行可能ルールとしてエンコードする。
• 再利用可能な環境ライブラリ（例：「スイカは持ち運べる」）としてのコンパイル済み知識と、状況に応じた知識（オンラインで定義されたエコアクション）を区別することで、段階的でスケーラブルなエミュレータの拡大を可能にする。
• 自動知識ベース構築（AKBC）および既存の知識グラフを活用し、オブジェクトおよび行動の性質を初期状態としてエミュレータに組み込む。
• NLUモデルを環境内での実行者にとどまらず、言語を通じて環境の定義と構成に能動的に参加する存在としても統合する。
• 二段階のプロセスを採用する：(1) 事前に豊富なアフォーダンスを含むテキスト記述をマイニングして知識ベースを構築するオフライン処理、(2) 動的環境シミュレーションを通じたオンラインでの対話理解実行。

実験結果

リサーチクエスチョン

• RQ1 NLUシステムが環境を静的文脈ではなく、一次的意味的実体として扱うことで、より深く一般化可能な理解を達成できるか？
• RQ2 「できる」「超えてはいけない」「破裂する前まで」などのアフォーダンスの言語——例：「can」、「must not」、「before bursting」——を、スケーラブルで実行可能な知識表現のためのプログラミングインターフェースとして形式化できるか？
• RQ3 NLUモデルが、事前に定義されたものに限定されず、自然言語を通じて環境を共同で生成・構成できるまでの範囲はどの程度か？
• RQ4 大規模でオフラインの常識知識マイニングと、リアルタイムかつ状況に即した対話理解が、共通のプログラム的フレームワークを介して統合可能か？
• RQ5 プログラム的で行動的な表現が、分布的統計を超えた体系的な一般化と因果的推論を可能にする役割は何か？

主な発見

• 本フレームワークにより、NLUシステムは「バッグは破裂するか？」といった物理的制約を伴う「もし〜なら」のシナリオについて推論可能となり、関連情報が明示的に記載されていても、現在のテキスト entailsion モデルが失敗するようなケースを処理できる。
• 行動プログラミング言語にアフォーダンスを実行可能ルールとしてエンコードすることで、標準的な分布的モデルでは到達できない体系的一般化と因果的推論を支援する。
• Inform7を用いたデモでは、動的環境構築を通じて常識的および因果的推論タスクを処理可能であり、オンラインでインタラクティブなバージョンが公開済みである。
• 再利用可能なコンパイル済み知識（例：「果物は食べられる」）と、即時の状況に応じたエコアクションを区別することで、スケーラブルな知識の拡大が可能となり、重複を減らし、保守性を向上させる。
• NLUとプログラミング的環境作成の統合により、モデルが意味的ワールドの共同創造者として機能し、受動的な実行から能動的な知識構造化へと進化する。
• 記号的・身体的・分布的意味論を統合する手法として、生態的規則を反映する実行可能でインタラクティブなシミュレーションに言語を根拠づけることで、その実現可能性を示した。