[論文レビュー] Feature Robust Optimal Transport for High-dimensional Data

Mathis Petrovich, Chao Liang+7 more|arXiv (Cornell University)|May 25, 2020

Advanced Neural Network Applications参考文献 49被引用数 4

ひとこと要約

本稿では、高次元データにおける特徴のロバスト性を高めるための新規手法である特徴耐性最適輸送（FROT）を提案する。FROTは、次元の呪いを軽減するため、最小・最大最適化により判別性の高い特徴を選択する。FROTは、Sinkhorn部分問題を用いたFrank–Wolfeアルゴリズムで解く凸最適化問題として定式化されており、深層ニューラルネットワーク内の重要な層を特定することで、セマンティック対応タスクで最先端の性能を達成する。

ABSTRACT

Optimal transport is a machine learning problem with applications including distribution comparison, feature selection, and generative adversarial networks. In this paper, we propose feature-robust optimal transport (FROT) for high-dimensional data, which solves high-dimensional OT problems using feature selection to avoid the curse of dimensionality. Specifically, we find a transport plan with discriminative features. To this end, we formulate the FROT problem as a min--max optimization problem. We then propose a convex formulation of the FROT problem and solve it using a Frank--Wolfe-based optimization algorithm, whereby the subproblem can be efficiently solved using the Sinkhorn algorithm. Since FROT finds the transport plan from selected features, it is robust to noise features. To show the effectiveness of FROT, we propose using the FROT algorithm for the layer selection problem in deep neural networks for semantic correspondence. By conducting synthetic and benchmark experiments, we demonstrate that the proposed method can find a strong correspondence by determining important layers. We show that the FROT algorithm achieves state-of-the-art performance in real-world semantic correspondence datasets.

研究の動機と目的

• 高次元データ、特に深層ニューラルネットワークの特徴空間における最適輸送（OT）の次元の呪いに対処すること。
• ノイズや関係のない特徴に対してロバストであると同時に、情報量の多い特徴群（例：ネットワーク層）を選択する手法を開発すること。
• 高次元設定下での輸送計画の効率的計算を可能にする、凸的かつ取り扱いやすい最適化問題を定式化すること。
• ベンチマークデータセットを用いて、FROTの実世界のセマンティック対応タスクにおける有効性を示すこと。
• グループスパarsityによる特徴選択が、標準OTや先行のロバストOT手法と比較して、OTのロバスト性と性能を向上させることを示すこと。

提案手法

• FROTは、輸送計画と特徴群選択の最小・最大最適化として最適輸送問題を定式化し、最大ステップで最も判別性の高い特徴を選択する。
• この最小・最大問題の凸緩和として、グループスパarsity正則化を導入し、効率的な最適化を可能にする。
• 凸化されたFROT問題を解くためにFrank–Wolfeアルゴリズムを採用し、各部分問題はエントロピー正則化OTのためのSinkhornアルゴリズムで解かれる。
• 特徴群（例：特定のDNN層からの活性化）を原子的単位として扱い、輸送計画を構築するためにこれらの群の部分集合を選択する。
• 正則化パラメータ η は選択された特徴群のスパarsityを制御し、ロバスト性と性能のバランスをとる。
• 追加コストなしに、重要な特徴（例：重要なネットワーク層）を自然に同定でき、解釈可能性を実現する。

実験結果

リサーチクエスチョン

• RQ1 グループスパarsityによる特徴選択は、ノイズのある特徴を含む高次元データにおける最適輸送のロバスト性を向上させるか？
• RQ2 FROTは、実世界のデータセットにおけるセマンティック対応タスクで、標準OTや先行のロバストOT手法を上回るか？
• RQ3 FROTは、特徴マッチングのための深層ニューラルネットワーク内の重要な層を効果的に同定できるか？また、その選択は解釈可能か？
• RQ4 正則化パラメータ η の選択が、FROTの性能と特徴選択に与える影響は何か？
• RQ5 FROTは、深層ネットワークの活性化など高次元データに対して計算的に効率的かつスケーラブルか？

主な発見

• FROTはSPair-71kベンチマークで最先端の性能を達成し、η=0.2のとき35.0%の正確度を示し、OT（30.1%）やSRW（25.3%）を上回った。
• η=0.5のとき、FROTはSPair-71kで40.0%の正確度を達成し、次に優れた手法（SRW：25.3%）を顕著に上回った。
• FROTはη=0.5でPASCAL-Partデータセットで61.9%の正確度を達成し、OT（38.0%）やSRW（38.4%）を上回った。
• 実験的にノイズに強いことが示された：合成実験では、80%の特徴がノイズ混在しても、FROTは真の輸送計画を回復できたが、標準OTでは失敗した。
• FROTは、セマンティック対応のための重要なDNN層を効果的に同定でき、最適な性能は中程度のη値（例：η=0.5）で達成された。これは、効果的な特徴群選択を示している。
• アブレーションスタディでは、非常に高いη（例：η=5.0）では性能が低下することが確認され、特徴選択におけるスパarsityの制御の重要性が裏付けられた。