[論文レビュー] Relaxed Earth Mover's Distances for Chain- and Tree-connected Spaces and their use as a Loss Function in Deep Learning

Manuel Martínez, Monica-Laura Haurilet+3 more|arXiv (Cornell University)|Nov 22, 2016

Advanced Image and Video Retrieval Techniques参考文献 28被引用数 4

ひとこと要約

本稿では、鎖状および木構造の出力空間向けに、数値的に安定した緩和型のEarth Mover's Distance損失（EMD²）を提案する。この手法により、閉形式解を用いた効率的な勾配計算が可能となり、低データ環境下で交差エントロピー損失やSinkhorn Distanceよりも優れた性能を発揮する。特に、ImageNetで50,000枚の画像のみを用いても、階層的出力構造をより効果的に活用することで、Top-1精度が向上する。

ABSTRACT

The Earth Mover's Distance (EMD) computes the optimal cost of transforming one distribution into another, given a known transport metric between them. In deep learning, the EMD loss allows us to embed information during training about the output space structure like hierarchical or semantic relations. This helps in achieving better output smoothness and generalization. However EMD is computationally expensive.Moreover, solving EMD optimization problems usually require complex techniques like lasso. These properties limit the applicability of EMD-based approaches in large scale machine learning. We address in this work the difficulties facing incorporation of EMD-based loss in deep learning frameworks. Additionally, we provide insight and novel solutions on how to integrate such loss function in training deep neural networks. Specifically, we make three main contributions: (i) we provide an in-depth analysis of the fastest state-of-the-art EMD algorithm (Sinkhorn Distance) and discuss its limitations in deep learning scenarios. (ii) we derive fast and numerically stable closed-form solutions for the EMD gradient in output spaces with chain- and tree- connectivity; and (iii) we propose a relaxed form of the EMD gradient with equivalent computational complexity but faster convergence rate. We support our claims with experiments on real datasets. In a restricted data setting on the ImageNet dataset, we train a model to classify 1000 categories using 50K images, and demonstrate that our relaxed EMD loss achieves better Top-1 accuracy than the cross entropy loss. Overall, we show that our relaxed EMD loss criterion is a powerful asset for deep learning in the small data regime.

研究の動機と目的

• 深層学習におけるSinkhorn Distance（SD）の計算的・数値的不安定性、特にℓ₁の性質と単精度浮動小数点精度制限に起因する問題を解決すること。
• 鎖構造および木構造の出力空間におけるEarth Mover's Distance（EMD）の勾配について、閉形式解を導出することにより、効率的なバックプロパゲーションを可能とすること。
• ℓ₂の性質を持つSDよりも高速に収束し、数値的に安定性が向上した、EMDの緩和型バージョンであるEMD²を提案すること。
• 低データの深層学習設定、特に階層的分類タスクにおいて、EMD²が損失関数として有効であるかを評価すること。
• 出力空間の構造をEMD²でモデル化することで、データが限られた状況下で一般化性能とTop-1精度が向上することを示すこと。

提案手法

• 動的計画法または再帰的分解を用いて、鎖構造の出力空間（例：ヒストグラム）におけるEMD勾配の閉形式解を導出する。
• 木構造の性質とフロー保存則を活用することで、木構造の出力空間（例：WordNet、ImageNetの階層）に対しても閉形式勾配の導出を拡張する。
• ℓ₂正則化を用いたEMDの緩和型バージョン、EMD²を提案する。これにより、ℓ₁ベースのSDと比較して収束が速く、数値的安定性が向上する。
• EMD²の解析的勾配をバックプロパゲーションに使用し、反復的ソルバーを回避することで、深層ネットワークにおけるエンドツーエンド学習を可能にする。
• 画像分類におけるクラス間の意味的関係を符号化するために、階層的出力空間表現（例：WordNet）を用いる。
• EMD²と交差エントロピー損失を1:1の比率で組み合わせ、高速な収束と出力空間全体の最適化の両立を図る。

実験結果

リサーチクエスチョン

• RQ1 鎖構造および木構造の出力空間において、EMDの閉形式勾配を導出できるか。これにより、深層学習の効率的訓練が可能になるか。
• RQ2 ℓ₂の性質を持つ緩和型EMD（EMD²）は、ℓ₁ベースのSinkhorn Distanceと比較して、収束速度と数値的安定性が向上するか。
• RQ3 低データ環境下において、EMD²を用いて階層的出力構造を組み込むことで、標準的な交差エントロピー損失と比較して、より良い一般化性能と高いTop-1精度が得られるか。
• RQ4 大規模な階層的分類タスクにおいて、EMD²はSD+CEなどの組み合わせ損失戦略と比較して、安定性と性能に優れているか。
• RQ5 float32精度を用いた深層学習において、Sinkhorn Distanceが数値的に不安定になる根本的要因は何か。

主な発見

• ImageNetデータセットにおいて、50,000枚の訓練画像（全セットの4％）のみを用いた場合、EMD²は交差エントロピー損失を上回るTop-1精度を達成し、低データ環境下での一般化性能の向上を示した。
• EMD²と交差エントロピーを1:1で組み合わせた場合、最も速い収束と最高のTop-1精度を達成し、個別の損失関数やSD+CEの組み合わせを上回った。
• 鎖構造の出力を持つ呼吸信号のPSD予測タスクにおいて、EMD²は高速な収束と低い誤差を示し、構造的予測における効率性を確認した。
• Sinkhorn Distance（SD）はfloat32精度下で数値的不安定性を示し、特に大きな出力空間では、その人気にもかかわらず実用的使用に制限を受けていた。
• EMD²損失は出力ベクトル全体を包括的に最適化したため、階層的関係の学習がより良く行われ、Top-1精度が交差エントロピーと比較してゆっくり上昇したが、全体としての学習が向上した。
• フルデータ設定（128万枚の画像）では、EMD²は交差エントロピーを上回らなかった。これは、階層的構造の恩恵が、データが限られ、一般化が重要となる状況でのみ顕著であることを確認した。