[論文レビュー] Large Language Models and Causal Inference in Collaboration: A Survey

Xiaoyu Liu, Paiheng Xu+11 more|arXiv (Cornell University)|Mar 14, 2024

Topic Modeling被引用数 14

ひとこと要約

このレビューは、因果推論手法が推論・公平性・安全性・説明・マルチモーダリティにおいて大規模言語モデル（LLMs）をどのように改善できるかを分析します。

ABSTRACT

Causal inference has shown potential in enhancing the predictive accuracy, fairness, robustness, and explainability of Natural Language Processing (NLP) models by capturing causal relationships among variables. The emergence of generative Large Language Models (LLMs) has significantly impacted various NLP domains, particularly through their advanced reasoning capabilities. This survey focuses on evaluating and improving LLMs from a causal view in the following areas: understanding and improving the LLMs' reasoning capacity, addressing fairness and safety issues in LLMs, complementing LLMs with explanations, and handling multimodality. Meanwhile, LLMs' strong reasoning capacities can in turn contribute to the field of causal inference by aiding causal relationship discovery and causal effect estimations. This review explores the interplay between causal inference frameworks and LLMs from both perspectives, emphasizing their collective potential to further the development of more advanced and equitable artificial intelligence systems.

研究の動機と目的

• 因果推論フレームワークがLLMの推論能力と信頼性をどのように向上させるかを評価する。
• 因果性ベースのアプローチがLLMの公平性・偏り・安全性にどのように対処するかを検討する。
• LLM出力の説明可能性を高める因果手法の役割を検討する。
• LLMをマルチモーダル設定へ拡張することと、それが因果推論に与える影響を調査する。
• LLMsが因果発見と治療効果推定をどのように支援できるかを総説する。

提案手法

• トランスフォーマーベースのLLMの進展とLVLMsおよびマルチモーダル版の台頭を概説する。
• 潜在的結果、構造方程式モデル（SEMs）、ベイジアンネットワークなど、因果推論の基礎を要約する。
• 因果手法をLLMの推論・公平性・安全性・説明に適用する既存の研究を整理する。
• LLMsが因果発見と治療効果推定を支援できる方法を論じる。
• 評価ベンチマークを整理し、制約と今後の方向性を論じる。

実験結果

リサーチクエスチョン

• RQ1 因果推論フレームワークはLLMの推論能力と頑健性をどのように向上させることができるか。
• RQ2 因果性ベースの手法はLLMにおける公平性の偏りと安全性の問題をどのように軽減できるか。
• RQ3 因果的アプローチはLLM出力の説明可能性をどのように高めることができるか。
• RQ4 マルチモーダルLLMs（LVLMs）における因果手法の役割は何か。
• RQ5 LLMsは因果発見と治療効果推定にどのように貢献できるか。

主な発見

• 因果手法は混乱因子への対処と整合性の向上を含め、LLMの推論を測定・改善するのに役立つ。
• 言語モデルの原因と偏りは、因果介入と不変学習を通じて分析・緩和できる。
• 反事実的推論とプロンプト介入はデータを補強し頑健性を高める可能性を示すが、複雑なタスクには限界がある。
• 入力・内部部品・因果グラフの抽象化によって説明可能性を高め、モデル挙動の理解を促進できる。
• マルチモーダルLLMsは因果推論に追加の課題と機会をもたらし、因果手法は緩和策と解釈可能性の利点を提供する。