[論文レビュー] AR-LSAT: Investigating Analytical Reasoning of Text

Wanjun Zhong, Siyuan Wang+7 more|arXiv (Cornell University)|Apr 14, 2021

Topic Modeling参考文献 41被引用数 6

ひとこと要約

本論文は、1991年から2016年までのLSAT分析的推論問題から抽出されたAR-LSATという新しいデータセットを紹介し、記号的知識を抽出し、解釈可能な論理的帰納を適用する論理レベルの推論フレームワークであるAnalytical Reasoning Machine（ARM）を提案する。ARMは、表面的な意味論を超えた推論に限界を抱えるTransformerベースのモデルと比較して優れている。これは、複雑な分析的タスクにおいて記号的推論の必要性を浮き彫りにしている。

ABSTRACT

Analytical reasoning is an essential and challenging task that requires a system to analyze a scenario involving a set of particular circumstances and perform reasoning over it to make conclusions. In this paper, we study the challenge of analytical reasoning of text and introduce a new dataset consisting of questions from the Law School Admission Test from 1991 to 2016. We analyze what knowledge understanding and reasoning abilities are required to do well on this task. Furthermore, to address this reasoning challenge, we design two different baselines: (1) a Transformer-based method which leverages the state-of-the-art pre-trained language models and (2) Analytical Reasoning Machine (ARM), a logical-level reasoning framework extracting symbolic knowledge (e.g, participants, facts, logical functions) to deduce legitimate solutions. In our experiments, we find that the Transformer-based models struggle to solve this task as their performance is close to random guess and ARM achieves better performance by leveraging symbolic knowledge and interpretable reasoning steps. Results show that both methods still lag far behind human performance, which leave further space for future research.

研究の動機と目的

• 自然言語テキストにおける分析的推論の課題を調査すること。
• 複雑な論理的推論タスクにおける推論モデルの評価を目的としたベンチマークデータセットを構築すること。
• ニューラルモデルと記号的モデルの2つの異なるアプローチを設計・評価すること。
• 現在の事前学習モデルにおける主な限界を特定し、解釈可能で記号的な推論に関する今後の研究の方向性を提案すること。

提案手法

• 1991年から2016年までのLSAT分析的推論問題を対象としたAR-LSATというデータセットを提案し、推論モデルのベンチマークに用いる。
• 事前学習された言語モデル（例：BERT、RoBERTa）を用いて文脈を符号化し、選択肢を分類するTransformerベースのベースラインを設計する。
• 参加者、事実、ルールをテキストから抽出する記号的フレームワークとしてAnalytical Reasoning Machine（ARM）を開発する。
• 自然言語ルールを記号的解析により実行可能な論理関数（例：「AがXにあるならばBはYにある」）に変換する。
• すべての制約に対して候補解の整合性をチェックすることで論理的帰納を実行する。
• スコアリング機構を用いて選択肢と有効な割り当てを照合し、解釈可能な予測を可能にする。

実験結果

リサーチクエスチョン

• RQ1 BERT や RoBERTa といった事前学習されたニューラルモデルは、深い論理的推論を必要とする複雑な分析的推論タスクを解けるか？
• RQ2 分析的推論問題を解くために不可欠な記号的知識の要素（参加者、事実、ルール）は何か？
• RQ3 ARM のような記号的推論システムは、ニューラルベースラインと比較して、性能と解釈可能性においてどう異なるか？
• RQ4 現在のモデルが自然言語制約の理解と推論において、主な失敗モードは何か？

主な発見

• Transformerベースのモデルはほぼランダムな性能（20％に近い正確度）を示しており、表面的な意味論を超えた深い推論における深刻な限界を示している。
• ARMは開発セットで34.2％の正確度、テストセットで30.9％の正確度を達成し、ニューラルベースラインを著しく上回った。
• 人間の性能は両モデルと比較して著しく高く、今後の研究における大きなギャップがあることを示している。
• ARMにおける主な誤りタイプには、不完全なルール解析（例：「少なくとも」の意味の欠落）、誤った参加者／位置の抽出、一般的な知識の欠如がある。
• 研究では、記号的解析と論理的帰納が特に複雑または暗黙的な意味的ルールに対して重要なボトルネックであると特定した。
• 結果から、神経ネットワークと記号的システムの統合が、NLPにおける分析的推論の進展に不可欠である可能性が示唆された。