[論文レビュー] "I'd Like to Have an Argument, Please": Argumentative Reasoning in Large Language Models

Adrian de Wynter, Tangming Yuan|arXiv (Cornell University)|Sep 29, 2023

Topic Modeling被引用数 4

ひとこと要約

本稿は、GPT-3およびGPT-4における議論的推論の評価を、議論マイニング（AM）および議論ペア抽出（APE）タスクを用いて実施し、具体的なテキストから抽象的な記号的フォーマット（AMRグラフなど）に至るまで、さまざまな入力および出力表現における性能を検証した。モデルの性能は表現設計に極めて敏感であることが判明し、最適な例示数は4〜5例であるが、チェーン・オブ・トゥーク（CoT）プロンプティングにより、その感受性が軽減され、「例示効果」が解消される。これは、CoTが複雑な推論シナリオにおける堅牢性を向上させることを示唆している。

ABSTRACT

We evaluate two large language models (LLMs) ability to perform argumentative reasoning. We experiment with argument mining (AM) and argument pair extraction (APE), and evaluate the LLMs' ability to recognize arguments under progressively more abstract input and output (I/O) representations (e.g., arbitrary label sets, graphs, etc.). Unlike the well-known evaluation of prompt phrasings, abstraction evaluation retains the prompt's phrasing but tests reasoning capabilities. We find that scoring-wise the LLMs match or surpass the SOTA in AM and APE, and under certain I/O abstractions LLMs perform well, even beating chain-of-thought--we call this symbolic prompting. However, statistical analysis on the LLMs outputs when subject to small, yet still human-readable, alterations in the I/O representations (e.g., asking for BIO tags as opposed to line numbers) showed that the models are not performing reasoning. This suggests that LLM applications to some tasks, such as data labelling and paper reviewing, must be done with care.

研究の動機と目的

• 大規模言語モデル（LLM）であるGPT-3およびGPT-4の議論的推論能力が、データラベル付けや同士レビューなどの実世界の応用においてどの程度発揮されるかを評価すること。
• 具体的なテキストから抽象的な記号的フォーマット（AMRグラフなど）に至るまで、入力および出力表現の違いが議論マイニング（AM）および議論ペア抽出（APE）タスクにおけるLLMの性能に与える影響を調査すること。
• 例示数が推論性能に与える影響を検討し、過剰な例示が性能を低下させる「例示効果」が存在するかを同定すること。
• チェーン・オブ・トゥーク（CoT）プロンプティングが、不適切な入出力表現や過剰な例示による性能低下を軽減するかどうかを評価すること。

提案手法

• 本研究では、4,764組のレビュー・リbuttalペアを含み、議論的スパンおよび議論・反論の対応をアノテートした「Review-Rebuttal Submission-v2（RRv2）」データセットを用いた。
• 実験は、具体的（生テキスト）、記号的（任意ラベル）、抽象的（AMRグラフ）な表現の設定を含め、推論の抽象化レベルをテストする。
• AM（BIOタギング）およびAPE（バイナリ行列対応）の標準指標を用いて性能を評価し、1〜40例までのコンテキスト例示数を変化させた結果を分析した。
• チェーン・オブ・トゥーク（CoT）プロンプティングは、ステップバイステップの推論テンプレート（例：「Let’s think step-by-step」）をモデルに条件付けすることで実施し、非CoTベースラインと性能を比較した。
• 分析は、表現設計および例示数がモデルの正確性に与える影響に焦点を当て、設定間での性能トレンドの統計的評価を実施した。
• 本研究ではGPT-3およびGPT-4を評価しており、特にCoTがAMRのような抽象的表現における性能に与える影響に注目したが、トークン制限のため、完全なCoT-AMR評価は不可能であった。

実験結果

リサーチクエスチョン

• RQ1 入力および出力表現が、具体的なテキストから抽象的なAMRグラフまで多様に変化する場合、LLMのAMおよびAPEタスクにおける議論的推論性能にどのように影響を与えるか？
• RQ2 コンテキスト例示数が推論性能に体系的な影響を及ぼすか。もし影響があれば、最適な例示数は存在するか？
• RQ3 チェーン・オブ・トゥーク（CoT）プロンプティングが、不適切な入出力表現や過剰な例示による性能低下をどの程度軽減できるか？
• RQ4 記号的または抽象的表現に強制された場合、モデルの推論行動はどのように変化するか。また、その変化は信頼性に影響を与えるか？

主な発見

• GPT-4はAPEタスクで最先端（SOTA）の性能を達成し、AMタスクでもほぼSOTA水準に達しており、議論的推論における強力なベースライン能力を示している。
• 入力表現が抽象的になりすぎると（例：AMRグラフ）、性能が著しく低下するが、出力表現が記号的である場合（例：ラベル行列）は相対的に安定する。ただし、後者の場合、絶対的な性能は低下する。
• 「例示効果」が観察された：例示数が4〜5例のとき性能がピークに達し、40例まで増加すると線形に低下する。これは、過剰なコンテキストが推論の正確性を損なうことを示している。
• チェーン・オブ・トゥーク（CoT）プロンプティングにより、例示効果が解消され、さまざまな入出力表現間で一貫した出力分布が得られる。これは、推論の堅牢性が向上したことを示唆している。
• CoTは絶対的な性能を非CoTベースラインより向上させるとは限らないが、不適切な表現設計や高例示数による悪影響を緩和する。
• 本研究では、完全なCoT-AMR評価がトークン長制限のため不可能であったが、非CoT AMRとCoT AMRの間で観察された性能差は、今後の研究における重要な分野であると指摘している。