[論文レビュー] TrustLLM: Trustworthiness in Large Language Models

Y. Huang, Lichao Sun+68 more|arXiv (Cornell University)|Jan 10, 2024

Artificial Intelligence in Healthcare and Education被引用数 50

ひとこと要約

TrustLLM は 8 つの信頼性次元を提案し、6 次元のベンチマークを構築し、30 のデータセットを横断して 16 種の主流 LLM を評価し、信頼性と有用性の関係および専有モデルとオープンモデルのギャップを分析します。

ABSTRACT

Large language models (LLMs), exemplified by ChatGPT, have gained considerable attention for their excellent natural language processing capabilities. Nonetheless, these LLMs present many challenges, particularly in the realm of trustworthiness. Therefore, ensuring the trustworthiness of LLMs emerges as an important topic. This paper introduces TrustLLM, a comprehensive study of trustworthiness in LLMs, including principles for different dimensions of trustworthiness, established benchmark, evaluation, and analysis of trustworthiness for mainstream LLMs, and discussion of open challenges and future directions. Specifically, we first propose a set of principles for trustworthy LLMs that span eight different dimensions. Based on these principles, we further establish a benchmark across six dimensions including truthfulness, safety, fairness, robustness, privacy, and machine ethics. We then present a study evaluating 16 mainstream LLMs in TrustLLM, consisting of over 30 datasets. Our findings firstly show that in general trustworthiness and utility (i.e., functional effectiveness) are positively related. Secondly, our observations reveal that proprietary LLMs generally outperform most open-source counterparts in terms of trustworthiness, raising concerns about the potential risks of widely accessible open-source LLMs. However, a few open-source LLMs come very close to proprietary ones. Thirdly, it is important to note that some LLMs may be overly calibrated towards exhibiting trustworthiness, to the extent that they compromise their utility by mistakenly treating benign prompts as harmful and consequently not responding. Finally, we emphasize the importance of ensuring transparency not only in the models themselves but also in the technologies that underpin trustworthiness. Knowing the specific trustworthy technologies that have been employed is crucial for analyzing their effectiveness.

研究の動機と目的

• 信頼できる LLM の 8 次元を定義する（真実性、安全性、公正性、頑健性、プライバシー、機械倫理、透明性、説明責任）。
• 30 を超えるデータセットと 16 LLM を用いて、信頼性のある側面を 6 分野にわたる包括的なベンチマークを確立する。
• 信頼性と有用性の関係、そして専有モデルとオープンウェイトモデルの差異についての洞察を提供する。

提案手法

• 500 論文の文献調査を通じて、8 つの信頼性次元を特定する。
• 透明性と説明責任を除く、18 を超えるサブカテゴリと 30 データセットを含む、6 つの側面ベンチマークを確立する。
• ベンチマーク全体で、16 種の主流 LLM（専有モデルおよびオープンウェイト）を評価する。
• 全体的な信頼性ランキングと各次元ごとの詳細分析を提供する。
• TrustLLM の公開リーダーボードを含むデータセット、コード、ツールキットを公開する。

実験結果

リサーチクエスチョン

• RQ1 8 つの包括的な次元は、LLM の信頼性をどのように捉えることができるか。
• RQ2 TrustLLM ベンチマークで 30 データセットに対して 16 種の主流 LLM はどのように性能を示すか。
• RQ3 LLM の信頼性と機能的有用性の関係は何か。
• RQ4 専有モデルとオープンウェイトモデルは、次元を横断して信頼性を比較するとどうなるか。
• RQ5 LLM の信頼性を向上させるうえでの課題と方向性は何か。

主な発見

• 信頼性と有用性は多くのタスクで正の関係があり、性能の高いモデルはしばしばより信頼性が高い。
• 多くの LLM は過剰適合（オーバーアライメント）を示し、無害なプロンプトをあまりにも頻繁に拒否して有用性を低下させる。
• 専有 LLM は一般にオープンウェイトモデルより信頼性で上回るが、いくつかのオープンウェイトモデル（例: Llama2）はいくつかのタスクで専有モデルの性能に近づいている。
• 真実性、安全性、公正性はモデル間で顕著なギャップを示し、頑健性とプライバシーの扱いには大きなばらつきがある。
• 透明性と説明責任のベンチマークは依然として難しいが、本研究はオープンで透明性のある信頼性の高い技術の必要性を強調している。