[論文レビュー] ChatLLM Network: More brains, More intelligence

Rui Hao, Linmei Hu+4 more|arXiv (Cornell University)|Apr 24, 2023

Topic Modeling被引用数 5

ひとこと要約

本論文では、対話型言語モデルが相互に連携し、フィードバックを交換し、共同で推論することで、タスクを共同で解決できる新たなフレームワーク「ChatLLMネットワーク」を提案する。前方集約メカニズムと言語ベースの誤差逆伝播法を採用することで、応答の安定性と包括性が著しく向上し、単体モデルと比較して、感情の逆転およびデジタルモード分類タスクで最先端の性能を達成した。

ABSTRACT

Dialogue-based language models mark a huge milestone in the field of artificial intelligence, by their impressive ability to interact with users, as well as a series of challenging tasks prompted by customized instructions. However, the prevalent large-scale dialogue-based language models like ChatGPT still have room for improvement, such as unstable responses to questions and the inability to think cooperatively like humans. Considering the ability of dialogue-based language models in conversation and their inherent randomness in thinking, we propose ChatLLM network that allows multiple dialogue-based language models to interact, provide feedback, and think together. We design the network of ChatLLMs based on ChatGPT. Specifically, individual instances of ChatGPT may possess distinct perspectives towards the same problem, and by consolidating these diverse viewpoints via a separate ChatGPT, the ChatLLM network system can conduct decision-making more objectively and comprehensively. In addition, a language-based feedback mechanism comparable to backpropagation is devised to update the ChatGPTs within the network. Experiments on two datasets demonstrate that our network attains significant improvements in problem-solving, leading to observable progress amongst each member.

研究の動機と目的

• チャットGPTのような単一の対話型言語モデルが示す不安定さと片寄った推論を是正すること。
• 複数のLLMが多様な視点を共有し、知見を統合することで、問題解決のパフォーマンスを向上させること。
• 誤差から学び、段階的に改善するための、誤差逆伝播に類似したフィードバックメカニズムを構築すること。
• 共同推論の有効性が、応答品質および感情の強度に与える影響を評価すること。
• チャットGPTに限らない、さまざまな対話型言語モデルやNLPタスクに適用可能なスケーラブルで汎用的なフレームワークを確立すること。

提案手法

• ChatLLMネットワークは、複数のチャットGPTインスタンスを統合し、それぞれが与えられた入力に対して独立して応答を生成する。
• 前方集約メカニズムにより、個々のモデルの出力を統合し、より包括的な応答を合成する。
• 言語ベースの誤差逆伝播メカニズムにより、リーダーモデルからエンドア himself モデルへのフィードバック伝播が可能となり、批判に基づいて推論を更新する。
• ドロップアウト機構を導入して、各モデルの入力負荷を管理し、情報過多を防ぎ、耐障害性を向上させる。
• ネットワークは、前方集約とフィードバックに基づく精練の反復サイクルを経て動作し、共同的思考プロセスを模倣する。
• 別個の外部チャットGPTがジャッジとして機能し、とくに感情の強度を重視した感情の逆転タスクにおいて、生成された応答の品質を評価・スコア化する。

実験結果

リサーチクエスチョン

• RQ1 複数の対話型言語モデル間の協働的相互作用が、応答の安定性を向上させ、事実の不一致を低減できるか？
• RQ2 視点の統合による共同推論が、モデル出力の包括性をどの程度向上できるか？
• RQ3 言語ベースのフィードバックメカニズムは、モデル出力を精錬し、時間経過とともにパフォーマンスを向上させるのにどの程度効果的か？
• RQ4 感情の強度の操作を要するような、洗練された理解が求められるタスクにおいて、ネットワークは単体モデルを上回る性能を示せるか？
• RQ5 提案されたフレームワークは、さまざまなタイプの対話型言語モデルやNLPタスクに一般化可能か？

主な発見

• 感情の逆転タスクにおいて、フィードバックを適用した場合、ChatLLMネットワークは単体のチャットGPTと60回の比較のうち53勝を記録した。一方、フィードバックなしでは26勝にとどまった。
• 自発的フィードバックを用いた単体のチャットGPTは、60回の比較のうち53敗を記録しており、内部的批判による改善が限定的であることが示された。
• フィードバックありの状況では、ChatLLMネットワークは53勝7敗という成績を達成し、モデル間のフィードバックと協働による顕著なパフォーマンス向上が確認された。
• フィードバックなしでも、ネットワークは単体モデルを上回った（26勝対22勝）、これは精錬なしの集約にも本質的な価値があることを示している。
• 例として、ネットワークは「信じられないほど退屈」という表現を「耐えがたくほど退屈」とより洗練された語彙選択により強化した応答を生成している。
• 結果から、言語ベースの誤差逆伝播メカニズムがフィードバックからの段階的学習を可能にし、モデルのパフォーマンスを効果的に向上させていることが確認された。