[論文レビュー] Causal Prompting: Debiasing Large Language Model Prompting based on Front-Door Adjustment

Congzhi Zhang, Linhai Zhang+3 more|arXiv (Cornell University)|Mar 5, 2024

Topic Modeling被引用数 4

ひとこと要約

本稿では、モデルのパラメータやログティットにアクセスせずに、因果推論におけるフロントドア調整を活用して大規模言語モデル（LLMs）のバイアスを低減する、新しいプロンプティング手法「Causal Prompting」を提案する。チェーン・オブ・ススム（CoT）推論を中間変数として扱い、クラスタリングと正規化加重幾何平均（NWGM）近似を用いて、入力プロンプトと出力の間の因果効果を推定する。この手法は、オープンソースおよびクローズドソースのLLMにおいて、自然なNLPデータセットおよび悪意のあるNLPデータセットの両方で、最先端のロバストネスを達成する。

ABSTRACT

Despite the notable advancements of existing prompting methods, such as In-Context Learning and Chain-of-Thought for Large Language Models (LLMs), they still face challenges related to various biases. Traditional debiasing methods primarily focus on the model training stage, including approaches based on data augmentation and reweighting, yet they struggle with the complex biases inherent in LLMs. To address such limitations, the causal relationship behind the prompting methods is uncovered using a structural causal model, and a novel causal prompting method based on front-door adjustment is proposed to effectively mitigate LLMs biases. In specific, causal intervention is achieved by designing the prompts without accessing the parameters and logits of LLMs. The chain-of-thought generated by LLM is employed as the mediator variable and the causal effect between input prompts and output answers is calculated through front-door adjustment to mitigate model biases. Moreover, to accurately represent the chain-of-thoughts and estimate the causal effects, contrastive learning is used to fine-tune the encoder of chain-of-thought by aligning its space with that of the LLM. Experimental results show that the proposed causal prompting approach achieves excellent performance across seven natural language processing datasets on both open-source and closed-source LLMs.

研究の動機と目的

• プロンプティングにおける文脈学習およびチェーン・オブ・ススム推論の継続的なバイアス問題、特に悪意のある摂動下での問題を解決すること。
• モデルの微調整やデータの再重み付けに依存する従来のバイアス低減手法の限界を克服し、プロンプトベースの推論において実行不可能な手法を回避すること。
• モデルのパラメータ、ログティット、交絡要因の値へのアクセスを一切必要としない、純粋に推論時におけるバイアス低減手法の開発。
• CoTを中間変数として用いる構造的因果モデルを活用し、プロンプティングにおける効果的な因果介入を可能にすること。
• 因果介入を通じて、分布内および分布外（悪意のある）データの両方におけるモデルの一般化性能を向上させること。

提案手法

• 本手法は、入力プロンプト（X）がチェーン・オブ・ススム推論（R）を経由して出力（A）に影響を与える構造的因果モデルとしてプロンプティングプロセスをモデル化する。未観測の交絡要因（U）がバイアスをもたらす。
• 交絡要因の直接モデリングを回避するため、フロントドア調整を適用し、XがAに及ぼす総合的因果効果を、XがRに及ぼす効果とRがAに及ぼす効果に分解して推定する。
• CoT応答の確率（P(R|X)）は、BERTベースのエンコーダーを用い、対照的学習によりエンコーダーとLLMの表現空間を一致させる。
• CoT応答にクラスタリングアルゴリズムを適用し、代表的な推論経路を特定することで、ログティットにアクセスせずにP(R|do(X))の正確な推定が可能になる。
• RからAへの因果効果は、正規化加重幾何平均（NWGM）近似を用いて推定され、データ分布を最もよく表す最適なデモセットの選定が行われる。
• 最終的な予測は、複数のCoT応答に対する加重投票により生成され、加重はNWGM近似から導出され、ロバストでバイアスのない推論を保証する。

実験結果

リサーチクエスチョン

• RQ1 モデルのパラメータやログティットにアクセスせずに、フロントドア調整を効果的にLLMのプロンプティングに適用できるか？
• RQ2 チェーン・オブ・ススム推論が、プロンプティングにおける因果介入の有効な中間変数として機能できるか？
• RQ3 対照的学習とクラスタリングを組み合わせることで、プロンプトベースの推論における因果効果推定の正確性がどの程度向上するか？
• RQ4 提案手法は、異なるLLMアーキテクチャおよびデータ分布（悪意のある例を含む）に一般化可能か？
• RQ5 個々の構成要素（クラスタリングと対照的学習）は、因果プロンプティングフレームワーク全体の性能にどの程度寄与しているか？

主な発見

• Causal Promptingは、LLaMA2-7bおよびGPT-3.5の両方において、ABSAおよびNLIデータセットのオリジナル版および悪意のあるバージョンで、最高の全体的性能を達成した。
• 悪意のあるデータでは、Causal PromptingはCoT-SCおよび他のベースラインを著しく上回り、分布シフトに対して強いロバストネスを示した。
• 分布外（悪意のある）データでは、分布内データよりも性能向上が顕著に見られたことから、効果的なバイアス低減が実現したと示唆された。
• アブレーションスタディの結果、クラスタリング部を除去すると、対照的学習を除去するよりも性能低下が顕著に見られ、正確な因果効果推定においてその重要性が強調された。
• LLMとエンコーダーの表現を一致させるために対照的学習を用いることで、より正確な表現学習が実現し、全体の因果介入の質が向上した。