[論文レビュー] Wasserstein Barycenter Model Ensembling

Pierre Dognin, Igor Melnyk+4 more|arXiv (Cornell University)|Feb 13, 2019

Statistical and Computational Modeling被引用数 15

ひとこと要約

本稿では、単語埋め込みやコスト行列を通じて意味的側面情報を取り入れることで、多クラスおよびマルチラベル学習におけるモデルアveragingを向上させるため、ワッサーシュタイン重心モデルアンサンブルを提案する。最適輸送理論を活用することで、モデルの信頼性と意味的類似性のバランスを図り、属性ベース分類、マルチラベル学習、画像キャプションの分野で、算術平均および幾何平均アンサンブルを上回る性能を発揮する。特に意味的多様性の促進およびラベルの摂動に対するロバスト性が顕著である。

ABSTRACT

In this paper we propose to perform model ensembling in a multiclass or a multilabel learning setting using Wasserstein (W.) barycenters. Optimal transport metrics, such as the Wasserstein distance, allow incorporating semantic side information such as word embeddings. Using W. barycenters to find the consensus between models allows us to balance confidence and semantics in finding the agreement between the models. We show applications of Wasserstein ensembling in attribute-based classification, multilabel learning and image captioning generation. These results show that the W. ensembling is a viable alternative to the basic geometric or arithmetic mean ensembling.

研究の動機と目的

• クラス間の意味的関係を無視する標準的なモデルアンサンブル手法（算術平均および幾何平均）の限界を解決すること。
• 意味的側面情報（例：単語埋め込みやクラス類似度行列）を統合した手法を導入し、コンSENSUSの特定を改善すること。
• ワッサーシュタイン距離が度合い空間で分布を比較できる能力を活用することで、異なるラベル集合を持つモデル間の有効なアンサンブルを可能にすること。
• 画像キャプションやマルチラベル分類などの意味的整合性が求められるタスクにおいて、言い換えられた多様で意味的に正確な出力を促進することで、性能を向上させること。

提案手法

• 各クラスが事前に学習済みの埋め込み空間（例：GloVe）内のベクトルに紐付かれるラベル空間上に、モデルの予測を離散確率測度として表現する。
• 意味的類似度（例：単語埋め込み間のコサイン距離）を用いてラベル空間上に基本距離 $ C $ を定義し、クラス関係をエンコードする。
• エントロピー正則化とSinkhornアルゴリズムを用いて、効率的な最適化により複数のモデル予測のワッサーシュタイン重心を計算する。
• 重心を最終アンサンブル予測として使用し、モデル間の信頼性のバランスとラベル空間内の意味的近接性を両立する。
• 出力構造（例：キャプション生成におけるtop-kビームサーチ）に適応することで、マルチクラス、マルチラベル、および系列生成タスクにこの手法を適用する。
• 同義語ベースの類似度行列 $ K $ を組み込むことで、重心の均一分布への過剰な拡散を抑制する。

実験結果

リサーチクエスチョン

• RQ1 ワッサーシュタイン重心は、単語埋め込みなどの意味的側面情報を統合することで、モデルアンサンブルを改善できるか？
• RQ2 マルチラベルおよびマルチクラスタスクにおいて、算術平均および幾何平均アンサンブルと比較して、ワッサーシュタインアンサンブルの正確性とロバスト性はどのように異なるか？
• RQ3 生成出力（例：画像キャプション）における意味的類似性は、重心法によってどの程度保持されるか？
• RQ4 意味的構造が保持される状況下で、ラベルの摂動や予測のシャッフルに対して、この手法はどの程度の性能を示すか？
• RQ5 意味的品質を損なわず、生成系列（例：言い換えられたキャプション）における多様性を促進できるか？

主な発見

• COCO画像キャプションベンチマークにおいて、ワッサーシュタイン重心はtop-kビームサーチを用いてCIDErスコア1.091、SPICEスコア0.209を達成し、エントロピー6.94および安定したWMD（0.198）を示しており、意味的に近いが多様な出力であることが示された。
• エントロピーが上昇しても、ワッサーシュタイン重心は安定したWMDスコアを維持したが、算術平均および幾何平均はCIDErおよびSPICEスコアの低下を示した。これは、言い換えや意味的ずれに対してロバストであることを示している。
• MS-COCOにおける人間評価では、ワッサーシュタイン重心が算術平均および幾何平均を上回り、34％のMTurkerが正しさの観点で、32％が詳細さの観点で、これを最良のキャプションと選んだ。
• 意味的クラスタ内でのモデル予測のシャッフルに対して、ワッサーシュタイン重心は算術平均および幾何平均よりも優れた回復性能を示した。
• 同義語ベースの類似度行列 $ K $ の使用により、拡散効果が制限され、意味のある構造が保持され、重心が均一分布に崩壊するのを防いだ。
• マルチラベル分類において、ワッサーシュタイン重心は、特に不均衡な状況下で、信頼性と意味的整合性の両方を効果的にバランスさせることで、正確性を向上させた。