[論文レビュー] An Overview Of Temporal Commonsense Reasoning and Acquisition

Georg Wenzel, Adam Jatowt|arXiv (Cornell University)|Jul 28, 2023

Topic ModelingComputer Science被引用数 3

ひとこと要約

この論文は、自然言語処理における時間的共通知識推論（TCS）の包括的サーベイを提供しており、大規模言語モデル（LLMs）が表面的タスクでは優れた性能を示す一方で、暗黙の時間的推論には困難を抱えることについて検討している。データ拡張、知識グラフ統合、記号的推論の組み込みといった手法によるTCSの向上をレビューし、浅い推論と言語的バイアスのため、モデルと人間の性能に依然として大きなギャップが存在することを強調している。

ABSTRACT

Temporal commonsense reasoning refers to the ability to understand the typical temporal context of phrases, actions, and events, and use it to reason over problems requiring such knowledge. This trait is essential in temporal natural language processing tasks, with possible applications such as timeline summarization, temporal question answering, and temporal natural language inference. Recent research on the performance of large language models suggests that, although they are adept at generating syntactically correct sentences and solving classification tasks, they often take shortcuts in their reasoning and fall prey to simple linguistic traps. This article provides an overview of research in the domain of temporal commonsense reasoning, particularly focusing on enhancing language model performance through a variety of augmentations and their evaluation across a growing number of datasets. However, these augmented models still struggle to approach human performance on reasoning tasks over temporal common sense properties, such as the typical occurrence times, orderings, or durations of events. We further emphasize the need for careful interpretation of research to guard against overpromising evaluation results in light of the shallow reasoning present in transformers. This can be achieved by appropriately preparing datasets and suitable evaluation metrics.

研究の動機と目的

• イベントの順序付け、継続時間、一般的な発生時刻に関する推論に焦点を当て、自然言語処理における時間的共通知識推論（TCS）の現状を分析すること。
• 最先端の言語モデルが分類や生成タスクで優れた性能を示す一方で、ショートカット学習と言語的バイアスのため、より深い時間的推論に失敗する理由を調査すること。
• データ拡張、知識グラフ統合（例：ATOMIC²⁰、ASER）、記号的推論技術の有効性を評価し、TCS能力の向上に寄与するかを検証すること。
• 特にレーベルのない評価指標や分布外設定において、モデルと人間の間の継続的な性能ギャップを特定すること。
• 過剰に期待を抱かせないよう、データセットの慎重なキュレーションと評価設計を促し、今後の研究がより強固な推論に向かうように導くこと。

提案手法

• ATOMIC²⁰、COMET、ASER、ConceptNet などの既存のTCSベンチマーク、データセット、知識グラフを調査し、TCSの核心的次元を同定すること。
• トランスフォーマーに基づくモデル（例：BERT、RoBERTa、GPT-4）および特化型時間的モデル（例：TempoBERT、BiTimeBERT）を、明示的および暗黙の時間的信号を用いてTCSタスクで評価すること。
• クラウドソーシング、ルールベースのウェブ抽出、知識グラフの蒸留を用いたデータ拡張により、トレーニングデータの質とカバレッジを向上させること。
• 確率的ソフト論理などの記号的推論をニューラルモデルと統合し、継続時間、先行関係、頻度などの時間的関係を明示的にエンコードすること。
• アンサンブル手法やアーキテクチャの変更（例：時間的アテンション、ドキュメント作成時刻の組み込み）を用いて、LLMsにおける時間的推論を強化すること。
• 正答率を超えたレーベルのない評価指標を用い、特に敵対的または分布外の設定において、パターン認識やバイアスの悪用を検出すること。

Figure 1: Temporal reasoning and commonsense reasoning both encapsulate TCS reasoning, but also contain many other tasks

実験結果

リサーチクエスチョン

• RQ1 標準ベンチマークで高い性能を示すにもかかわらず、なぜ大規模言語モデルは時間的共通知識推論の一般化に失敗するのか？
• RQ2 ATOMIC²⁰ や ASER などの知識グラフおよびデータ拡張は、LLMsにおける時間的推論をどの程度向上させられるか？
• RQ3 記号的推論技術およびハイブリッドニューラル記号的アプローチは、TCSにおける言語的罠に対して、モデルのロバストネスをどの程度向上させられるか？
• RQ4 学習目的、データ品質、ハイパーパrameterは、さまざまなトランスフォーマー変種におけるTCS性能にどのような役割を果たすか？
• RQ5 現在の評価プロトコルはなぜ浅い推論を検出できないのか？真の時間的理解をよりよく反映するにはどのような指標が必要か？

主な発見

• 標準的NLPタスクで最先端の性能を示すにもかかわらず、LLMsは真の時間的推論ではなく、言語的パターンやバイアスに依存しており、暗黙の時間的関係に対して誤った推論を下すことがある。
• ATOMIC²⁰ や ASER のような知識グラフで微調整されたモデルは、イベントの順序付けや時間的推論タスクで性能が向上するが、依然として人間レベルの推論には遠く及ばない。
• 記号的推論の統合、特に確率的ソフト論理やニューラル記号的アンサンブルを用いることで、補助目的を用いたエンドツーエンド学習よりも、よりロバストで説明可能なTCS予測が得られる。
• クラウドソーシングや弱い監視によるデータ拡張は、希少な時間的関係のカバレッジを著しく向上させるが、アノテーションの品質と分布バイアスの制限により、性能向上は限定的である。
• GPT-4ですら一部の推論タスクで優れた性能を示すが、構造が不透明でローカルでのデプロイが不可能なため、特定のTCS研究には利用価値が限られる。
• レーベルのない評価指標により、モデルが時間的継続時間、順序、頻度の真正の理解ではなく、推測やパターンマッチングによって正解に到達することが頻繁に明らかになった。

Figure 2: The distribution of publication dates in the surveyed core literature