[論文レビュー] Learning with a Wasserstein Loss

Charlie Frogner, Chiyuan Zhang+3 more|arXiv (Cornell University)|Jun 17, 2015

Topological and Geometric Data Analysis参考文献 25被引用数 270

ひとこと要約

本稿では、出力空間における事前定義された基準度量を活用して予測のロバスト性を向上させる、マルチラベル学習のための新規なワッサーシュタインに基づく損失関数を提案する。エントロピー正則化を用いることで計算を効率化し、意味論的に滑らかな予測を促進する。実世界の画像タグ付けタスク（Yahoo Flickrデータセットを用いて）において、標準的な損失関数を上回る性能を発揮し、ラベルノイズの影響下でも顕著な改善が得られる。

ABSTRACT

Learning to predict multi-label outputs is challenging, but in many problems there is a natural metric on the outputs that can be used to improve predictions. In this paper we develop a loss function for multi-label learning, based on the Wasserstein distance. The Wasserstein distance provides a natural notion of dissimilarity for probability measures. Although optimizing with respect to the exact Wasserstein distance is costly, recent work has described a regularized approximation that is efficiently computed. We describe an efficient learning algorithm based on this regularization, as well as a novel extension of the Wasserstein distance from probability measures to unnormalized measures. We also describe a statistical learning bound for the loss. The Wasserstein loss can encourage smoothness of the predictions with respect to a chosen metric on the output space. We demonstrate this property on a real-data tag prediction problem, using the Yahoo Flickr Creative Commons dataset, outperforming a baseline that doesn't use the metric.

研究の動機と目的

• 出力クラス間に固有の意味的関係性や定義された度量構造が存在するマルチラベル学習の課題に対処すること。
• 出力空間内での類似性に関する事前知識を損失関数に組み込むことで、予測品質を向上させること。
• 通常は計算が非現実的であるがゆえに、ワッサーシュタイン損失のための効率的な最適化手法を開発すること。
• 正規化されていない測度に対してもワッサーシュタイン損失を拡張しつつ、計算効率を維持すること。
• 提案された損失関数を用いた経験的リスク最小化の一般化性能を裏付ける統計的学習バウンディングを提供すること。

提案手法

• 有限な出力空間上の非負測度を予測する問題としてマルチラベル予測を定式化する。
• 出力空間に与えられた基準度量を用いて、予測済み測度と真値測度の間のワッサーシュタイン距離に基づく損失関数を定義する。
• 最適輸送問題にエントロピー正則化を適用し、ワッサーシュタイン距離の計算を効率的に行えるようにする。
• 正則化ワッサーシュタイン損失の新規な拡張を提案し、正規化されていない測度に対しても計算効率を維持する。
• 意味論的滑らかさと最尤推定の両立を図るため、重み付きの目的関数にワッサーシュタイン損失と標準的なKLダイバージェンス損失を組み合わせる。
• 深層学習モデルの学習に、正則化ワッサーシュタイン損失を用いた経験的リスク最小化を適用する。

実験結果

リサーチクエスチョン

• RQ1 構造的出力空間を持つマルチラベル設定において、ワッサーシュタイン距離が予測性能を向上させる目的関数として効果的に使用可能かどうか。
• RQ2 正確なワッサーシュタイン距離を最適化する際の計算コストを、その望ましい性質を損なわず低減する方法は何か。
• RQ3 損失関数に基準度量を組み込むことで、特にラベルノイズや意味的混同の影響下でも一般化性能がどの程度向上するか。
• RQ4 交差エントロピーなどの標準的な損失関数と比較して、提案手法のトップ-K性能とロバスト性はいかが。
• RQ5 計算効率を損なわず、正規化されていない測度に対してもワッサーシュタイン損失を意味的に拡張可能かどうか。

主な発見

• ワッサーシュタイン損失は、特に意味的に類似したクラス（例：シベリアン・フサイドとエスキモー・ドーグ）の間で、ラベルノイズに対する予測のロバスト性を顕著に向上させる。
• Yahoo Flickr Creative Commonsデータセットにおいて、提案手法のワッサーシュタイン損失は、特に提案タグ数が少ない場合に、ベースラインのダイバージェンスに基づく損失よりもトップ-Kコストで優れた性能を示す。
• AUCとトップ-Kコストの最適なトレードオフは、標準的なAUC最適化設定よりもワッサーシュタイン損失の重みを大きくした場合に達成される。
• 削減された冗長性を有するFlickrタグデータセットにおいても、提案手法は優れた性能を発揮し、ラベルの冗長性に対してもロバストであることが示された。
• 視覚的例では、ワッサーシュタインに基づくモデルが、真値タグと重複が最小限である場合でも意味的に関連する予測を生成していることが確認された。
• 統計的学習バウンディングにより、ワッサーシュタイン損失を用いた経験的リスク最小化フレームワークの一般化性能が裏付けられた。