[論文レビュー] Wider and Deeper LLM Networks are Fairer LLM Evaluators

Xinghua Zhang, Bowen Yu+6 more|arXiv (Cornell University)|Aug 3, 2023

Natural Language Processing Techniques被引用数 17

ひとこと要約

本論文は WideDeep を提案する。これは各ニューロンが異なる役割を持つ、より広くて深い LLM ベースの評価者であり、2 層の広いネットワークが LLM 出力の評価をより公正かつ迅速に行えることを示し、LLMEval2 ベンチマークを導入する。

ABSTRACT

Measuring the quality of responses generated by LLMs is a challenging task, particularly when it comes to evaluating whether the response is aligned with human preference. A novel approach involves using the LLM itself to make evaluation and stabilizing the results through multiple independent evaluations, similar to a single-layer narrow LLM network. This network consists of a fixed number of neurons, with each neuron being the same LLM. In this paper, we draw upon the extensive research on deep neural networks to explore whether deeper and wider networks can lead to fairer evaluations. Specifically, inspired by the observation that different neurons in a neural network are responsible for detecting different concepts, we first adaptively generate as many neuron roles as possible for each evaluation sample. Each perspective corresponds to the role of a specific LLM neuron in the first layer. In subsequent layers, we follow the idea that higher layers in deep networks are responsible for more comprehensive features, each layer receives representations from all neurons in the previous layer, integrating the locally learned evaluation information to obtain a more comprehensive evaluation result. Interestingly, this network design resembles the process of academic paper reviewing. To validate the effectiveness of our method, we construct the largest and most diverse English evaluation benchmark LLMEval$^2$ for LLM evaluators, comprising 15 tasks, 8 abilities, and 2,553 samples. Experimental results demonstrate that a wider network (involving many reviewers) with 2 layers (one round of discussion) performs the best, improving kappa correlation coefficient from 0.28 to 0.34. We also leverage WideDeep to aid in the assessment of Chinese LLMs, which has accelerated the evaluation time by 4.6 times, resulting in a 60% cost saving. WideDeep achieves a remarkable 93% agreement level among humans.

研究の動機と目的

• 人間の嗜好との整合性を改善するために、多層・多役割の LLM 評価者の使用を動機づけ、形式化する。
• 評価者ネットワークを広げ深くすることが、評価の公正性と信頼性にどのように影響するかを調査する。
• WideDeep を英語・中国語の LLM 評価ベンチマークで効果を示し、ニューロンの役割を分析する。
• LLM 評価者の多様で大規模な評価ベンチマーク（LLMEval2）を提供し、複数のタスクと能力を含む。

提案手法

• 各ニューロンが特定の評価役割を持つ凍結済み LLM を表す多層の広い LLM ネットワークを定義する。
• Neoron Role Prompt を用いてサンプルごとに適応的なニューロン役割を生成し、多様な視点を作り出す。
• 訓練可能な重みを持たない層同士を接続し、重み（pi2）を模擬するプロンプトを介してニューロン間接続を確立する。
• c1（平均）および c2（ニューロン投票）戦略を通じて層出力を統合し、最終スコアを導出する。
• 学術論文のレビューに例えることで評価プロセスを動機づける（ブラインドレビュー、討論、議長決定）。
• LLMEval2 を構築する：LLM 評価者の大規模で多様なベンチマーク（15 データセット、8 能力、2,553 サンプル）を作成する。

実験結果

リサーチクエスチョン

• RQ1 より広くて深い LLM 評価ネットワークは人間の嗜好との整合性を改善するか。
• RQ2 さまざまなタスクに効果的なニューロン役割はどのように出現し、結果にどのような影響を与えるか。
• RQ3 WideDeep は実務的な LLM 評価における手動アノテーションを加速し、コストを削減できるか。
• RQ4 WideDeep は英語と中国語の LLM 評価シナリオの両方でどのように機能するか。

主な発見

• WideDeep（2層の広いネットワーク）は、単層の FairEval と比較して、FairEval、PandaLM、LLMEval2 のベンチマーク全体で評価精度とκを著しく改善する。
• 幅を広げる（ニューロンを増やす）ことによって2層でより良い結果が得られ、2層を超えて深くすると情報の均質化により性能が低下する可能性がある。
• 多様なニューロン役割は重要で、ニューロン役割の指針を除くと性能が低下し、役割を持つ無制限のニューロンは精度を高める。
• 中国語の LLM 評価では WideDeep がベースラインを上回り、ラベリング正確度74%、人間同意93%、所要時間・コストの大幅な節約（速度4.6倍、コスト60%削減）を達成。
• LLMEval2 は先行データセットの限界に対処する包括的で多様なベンチマークであり、LLM 評価者の堅牢な評価を支持する。