[論文レビュー] Multiple Source Adaptation and the Renyi Divergence

Yishay Mansour, Mehryar Mohri+1 more|arXiv (Cornell University)|May 9, 2012

Speech and Audio Processing参考文献 17被引用数 73

ひとこと要約

本稿は、一般化誤差を限定するためのリーマン多様体を用いた複数のソースドメイン適応の理論的枠組みを提示する。先行研究を拡張し、任意のターゲット分布を扱えるようにし、分布近似およびラベルシフトの下で損失の保証を提供するとともに、合成データおよびセンチメントデータにおける実験により性能向上を実証する。

ABSTRACT

This paper presents a novel theoretical study of the general problem of multiple source adaptation using the notion of Renyi divergence. Our results build on our previous work [12], but significantly broaden the scope of that work in several directions. We extend previous multiple source loss guarantees based on distribution weighted combinations to arbitrary target distributions P, not necessarily mixtures of the source distributions, analyze both known and unknown target distribution cases, and prove a lower bound. We further extend our bounds to deal with the case where the learner receives an approximate distribution for each source instead of the exact one, and show that similar loss guarantees can be achieved depending on the divergence between the approximate and true distributions. We also analyze the case where the labeling functions of the source domains are somewhat different. Finally, we report the results of experiments with both an artificial data set and a sentiment analysis task, showing the performance benefits of the distribution weighted combinations and the quality of our bounds based on the Renyi divergence.

研究の動機と目的

• ターゲットドメインの分布が未知である、またはソースドメインの単純な混合ではない場合のドメイン適応の課題に対処すること。
• 先行研究がターゲット分布がソース分布の混合であると仮定していたのを拡張し、それ以上の理論的保証を提供すること。
• 近似されたソース分布とラベル関数のシフトが学習性能に与える影響を分析すること。
• 分布差の測定としてリーマン多様体を用いた一般化誤差の理論的境界を提示すること。
• 実際の実験を通じて、分布重み付き組み合わせ戦略の有効性を検証すること。

提案手法

• リーマン多様体を用いて、ソース分布とターゲット分布の乖離を定量化することで、複数のソース適応問題を定式化する。
• ターゲット分布とソース分布の重み付き組み合わせとの間のリーマン多様体に依存する一般化境界を導出する。
• 既知および未知のターゲット分布の両方を考慮した損失保証メカニズムを導入する。
• ソース分布が近似されている場合の解析を拡張し、真の分布からの乖離が大きくなるに従い境界が滑らかに劣化することを示す。
• ドメイン間でのラベル関数の差をモデル化し、それに応じて学習目的関数を調整することでラベルシフトを統合する。
• ターゲットに対する各ソースドメインの関連性に基づき、貢献度の最適化を図る分布重み付き組み合わせ戦略を提案する。

実験結果

リサーチクエスチョン

• RQ1 ターゲット分布がソース分布の混合でない場合、一般化誤差をどのように限定できるか？
• RQ2 複数のソース適応において、近似されたソース分布を使用した場合の学習性能への影響は何か？
• RQ3 ソースドメイン間でラベル関数の差が生じる場合、一般化境界に与える影響は何か？
• RQ4 リーマン多様体は、ドメイン適応における最適なソースドメイン重みの選択に有効な測定手段として機能できるか？
• RQ5 実世界のタスク、例えばセンチメント分析において、分布重み付きの組み合わせはどの程度性能を向上させるか？

主な発見

• リーマン多様体を用いた一般化誤差の理論的境界が導出され、乖離が小さいほど境界がタイトになることが示された。
• 本手法は合成データおよびセンチメント分析タスクの両方で、分布重み付き組み合わせの利点を示す改善性能を達成した。
• ソース分布が近似されている場合でも、真の分布と近似分布の間の乖離が有界であれば、損失保証は有効に機能する。
• 本フレームワークは非混合ターゲット分布を処理でき、先行研究の範囲を著しく拡張した。
• 実験結果により、提案された境界がタイトであり、実データセットにおける実際の性能を的確に予測することが確認された。
• ラベルシフトに対しても本手法は頑健であり、ドメイン間でのラベル関数の差を考慮した理論的保証が得られた。