[論文レビュー] Composing Ensembles of Pre-trained Models via Iterative Consensus

Shuang Li, Yilun Du+3 more|arXiv (Cornell University)|Oct 20, 2022

Multimodal Machine Learning Applications被引用数 7

ひとこと要約

本論文は、反復的コンSENSUSを用いたゼロショットフレームワークを提案する。生成モデルが提案を生成し、複数のスコアリングモデルがフィードバックを提供する閉ループの最適化プロセスにより、微調整なしに多様なマルチモーダルタスク（画像生成、数学的推論、ロボット操作など）で性能を著しく向上させる。複数のエキスパートモデルからの集合的フィードバックを活用することで、GSM8Kで7.5%の精度向上を達成し、微調整済みのベースラインを上回る性能を発揮する。

ABSTRACT

Large pre-trained models exhibit distinct and complementary capabilities dependent on the data they are trained on. Language models such as GPT-3 are capable of textual reasoning but cannot understand visual information, while vision models such as DALL-E can generate photorealistic photos but fail to understand complex language descriptions. In this work, we propose a unified framework for composing ensembles of different pre-trained models -- combining the strengths of each individual model to solve various multimodal problems in a zero-shot manner. We use pre-trained models as "generators" or "scorers" and compose them via closed-loop iterative consensus optimization. The generator constructs proposals and the scorers iteratively provide feedback to refine the generated result. Such closed-loop communication enables models to correct errors caused by other models, significantly boosting performance on downstream tasks, e.g. improving accuracy on grade school math problems by 7.5%, without requiring any model finetuning. We demonstrate that consensus achieved by an ensemble of scorers outperforms the feedback of a single scorer, by leveraging the strengths of each expert model. Results show that the proposed method can be used as a general purpose framework for a wide range of zero-shot multimodal tasks, such as image generation, video question answering, mathematical reasoning, and robotic manipulation. Project page: https://energy-based-model.github.io/composing-pretrained-models.

研究の動機と目的

• 既存のモデル構成手法が閉ループのフィードバックを欠き、言語インターフェースに依存する固定インターフェースや、共同微調整を必要とするという制限を解消すること。
• 追加のトレーニングなしに、あらゆるタスクでゼロショットマルチモーダル推論を可能にすること。
• 相補的なフィードバックを提供する複数のスコアリングモデルを組み合わせることで、性能を向上させ、ロバストネスと誤り訂正能力を強化すること。
• 反復的最適化とアンサンブルスコアリングが、効果的なゼロショット一般化に不可欠であることを示すこと。
• スケーラブルで汎用的なフレームワークを確立し、多様な事前学習済みモデルを閉ループでフィードバック駆動の形で統合すること。

提案手法

• フレームワークは、与えられたタスクに対して反復的に提案を生成する1つの生成モデルを使用する。
• 事前学習済みモデルのアンサンブルがスコアラーとして機能し、それぞれが現在の提案との整合性を示すスコアを提供する。
• フィードバックは、全スコアラーのコンセンサスに基づいて生成モデルが出力を最適化する閉ループプロセスに使用される。
• 複数ステップにわたり反復的最適化が行われ、各段階でスコアラーが生成モデルの出力を評価・指導する。最終段階でのみ評価するのではなく、中間段階でもフィードバックが得られる。
• スコアラーは、CLIP、CLS、CLS-FREEなどの多様な事前学習済みモデルから選択され、相補的な強みを確保し、バイアスを低減する。
• 本手法はゼロショットで動作し、微調整やタスク固有の適応は一切不要である。

実験結果

リサーチクエスチョン

• RQ1 生成モデルとスコアラーのアンサンブルとの間で反復的コンセンサスをとることで、微調整なしに多様なマルチモーダルタスクにおけるゼロショット性能を向上させられるか？
• RQ2 複数のスコアラーからの閉ループフィードバックは、ワンウェイまたは単一スコアラーのフィードバックに比べて、モデルの誤りをどれほど効果的に是正できるか？
• RQ3 アンサンブルスコアリングと反復的最適化の両方が、ゼロショット一般化を達成するために果たす貢献は何か？
• RQ4 本フレームワークは、数学的推論やロボット操作のようなタスクで微調整済みモデルを上回れるか？
• RQ5 スコアラーのアンサンブルに含まれる事前学習済みモデルの多様性は、最終的な性能とロバストネスにどのように影響するか？

主な発見

• 提案手法は、最終スコア選択のみを用いたベースラインと比較して、GSM8Kの小学校算数問題ベンチマークで7.5%の精度向上を達成した。
• 反復的最適化とアンサンブルスコアリング（PIC with G+E1+E2+E3）を用いることで、画像生成タスクでFréchet Inception Distance（FID）が3.766にまで低下し、単一スコアラーのベースラインを著しく上回った。
• 微調整済みのGPT-2モデル（GPT-FT+E）よりも、GSM8Kベンチマークで優れた性能を発揮し、ゼロショットアンサンブルフィードバックの強力さを示した。
• ロボット操作タスクでは、5つのスコアラーを用いた反復的最適化（PIC with ∑₅Eₙ）が3-Relationsタスクで75.0%の成功率を達成し、非反復的ベースラインから37.5%の向上を達成した。
• アブレーションスタディの結果、反復的最適化とアンサンブルスコアリングの両方が不可欠であることが確認された。両方の要素を除去すると、性能が著しく低下した。
• 本フレームワークは、画像生成、動画質問応答、数学的推論、ロボット制御の分野で、ゼロショット性能において最先端の結果を達成し、汎用性の高さを実証した。