[論文レビュー] Its Alive: AI Independence Without Human Prompting

Andy Zou, Long Phan+19 more|arXiv (Cornell University)|Oct 2, 2023

Adversarial Robustness in Machine Learning被引用数 59

ひとこと要約

論文はRepresentation Engineering (RepE) を紹介する。AIの高レベル概念を読み取り・制御するトップダウンアプローチを中心に置き、ヒューマンの prompting に依存せずに正直さの最先端成果と広範な安全性応用を達成する。

ABSTRACT

In this paper, we identify and characterize the emerging area of representation engineering (RepE), an approach to enhancing the transparency of AI systems that draws on insights from cognitive neuroscience. RepE places population-level representations, rather than neurons or circuits, at the center of analysis, equipping us with novel methods for monitoring and manipulating high-level cognitive phenomena in deep neural networks (DNNs). We provide baselines and an initial analysis of RepE techniques, showing that they offer simple yet effective solutions for improving our understanding and control of large language models. We showcase how these methods can provide traction on a wide range of safety-relevant problems, including honesty, harmlessness, power-seeking, and more, demonstrating the promise of top-down transparency research. We hope that this work catalyzes further exploration of RepE and fosters advancements in the transparency and safety of AI systems.

研究の動機と目的

• ニューラルネットワークにおける高レベルの認知現象を研究するため、表現を中心としたトップダウン透明性フレームワーク（RepE）を提案する。
• 概念表現を抽出・操作する Representation Reading（LAT）と Representation Control の方法を開発する。
• 正直さ、真実性、有用性、権力回避、感情、安全性、バイアス、記憶などの安全性に関連する問題で RepE を評価する。
• 内部表現を読取ることで、安全でないモデル挙動を検出・緩和する強力な非教師あり信号を得られることを示す。

提案手法

• タスク設計、ニューロン活動の収集、および PCA ベースのリーディングベクトルを用いて概念表現を読むベースラインとして Linear Artificial Tomography (LAT) を導入する。
• モデルの活性化から概念/機能を予測するリーディングベクトルを PCA で導出する（v = first principal component）。
• 学習された方向に沿って表現を変換する基準として、コントラストベクトル（Contrast Vector）および LoRRA の表現制御ベースラインを提案する。
• 因果的主張を確立するために、相関・操作・終了・回復実験を用いてリーディングとコントロールを評価する。
• 正直さ、真実性、有用性、道徳性、感情、バイアス、危害の回避などの概念へリーディングを適用し、非教師ありの刺激とトークン位置分析を行う。
• LAT および LoRRA の実装と評価の詳細を付録に記載する。

実験結果

リサーチクエスチョン

• RQ1 トップダウンの表現中心フレームワークは、LLM 内の高レベル認知概念を明らかにし、定量化できるか。
• RQ2 真実性や正直さといった概念の内部表現は存在し、タスクを跨いで一般化するのか。
• RQ3 リーディングによる表現の制御は、人間の prompting なしに正直さや安全性の特性を向上させる効果的な制御を可能にするか。
• RQ4 大規模言語モデルにおける表現を読む・操作する実用的な方法とベースラインは何か。
• RQ5 表現リーディングと制御は、安全性に関連する次元（正直さ・倫理・リスク・感情・偏り・ memorization 等）でどう振る舞うか。

主な発見

Model	Zero-shot	LAT (Ours)	Standard	Heuristic	Stimulus 1	Stimulus 2	Stimulus 3
7B	31.0	32.2	55.0	58.9	58.2
13B	35.9	50.3	49.6	53.1	54.2
70B	29.9	59.2	65.9	69.8	69.8
Average	32.3	47.2	56.8	60.6	60.7

• LAT は LLMs における概念方向を非教師なしで抽出し、TruthfulQA の精度を改善し最先端の結果を達成した。
• 内部の真実性という一貫した概念を見つけ出し、嘘や幻覚を検出するのに使用できる。
• 正直さのリーディングは、標準的 prompting よりもタスク横断でモデルの正直性を高める効果が高い。
• LoRRA およびコントラスト/ベクトルベースの表現制御により、モデル表現を変化させて安全性関連の出力に影響を及ぼせる。
• RepE の手法は、正直さ・倫理・リスク・感情・害の回避・バイアス・知識編集・ memorization など幅広い応用可能性を示す。