[論文レビュー] The Self-Optimal-Transport Feature Transform

Daniel Shalam, Simon Korman|arXiv (Cornell University)|Apr 6, 2022

Video Surveillance and Tracking Methods被引用数 13

ひとこと要約

本稿では、自己最適輸送（SOT）特徴変換を提案する。これは、最適輸送を用いて特徴を再重み付けする微分可能手法であり、クラス内コンパクト性の向上とクラス間分離性の強化を目的としている。少数ショット学習およびクラスタリングにおけるプロトタイプ特徴にSOTを適用することで、miniImageNet、Market-1501、および合成球クラスタリングベンチマークで最先端の性能を達成した。アブレーションスタディにより、エントロピー正則化およびSinkhorn反復に対するロバスト性が示された。

ABSTRACT

The Self-Optimal-Transport (SOT) feature transform is designed to upgrade the set of features of a data instance to facilitate downstream matching or grouping related tasks. The transformed set encodes a rich representation of high order relations between the instance features. Distances between transformed features capture their direct original similarity and their third party agreement regarding similarity to other features in the set. A particular min-cost-max-flow fractional matching problem, whose entropy regularized version can be approximated by an optimal transport (OT) optimization, results in our transductive transform which is efficient, differentiable, equivariant, parameterless and probabilistically interpretable. Empirically, the transform is highly effective and flexible in its use, consistently improving networks it is inserted into, in a variety of tasks and training schemes. We demonstrate its merits through the problem of unsupervised clustering and its efficiency and wide applicability for few-shot-classification, with state-of-the-art results, and large-scale person re-identification.

研究の動機と目的

• クラス内コンパクト性とクラス間分離性の向上により、少数ショット学習および教師なしクラスタリングにおける特徴表現品質の向上を目的とする。
• プロトタイプ特徴に最適輸送を用いた微分可能でエンドツーエンド学習可能な特徴変換の開発を目的とする。
• SOTの有効性を、miniImageNet、Market-1501、および合成球クラスタリングを含む多様なベンチマークで評価することを目的とする。
• 特にエントロピー正則化パラメータλおよびSinkhorn反復回数のハイパーパramータ感受性を、少数ショットおよび再識別設定の両方で分析することを目的とする。
• SOTが下流分類およびクラスタリングタスクにおいて自己アテンションおよびベースライン手法を上回ることを示すこと

提案手法

• SOT変換は、エントロピー正則化を施したSinkhorn-Knoppアルゴリズムに基づく微分可能な最適輸送（OT）レイヤーを用いて特徴を再重み付けする。
• 少数ショット学習におけるプロトタイプ特徴にOTを適用し、クラス内距離を最小化するとともにクラス間分離を最大化するように変換を行う。
• 輸送計画の滑らかさを制御するための学習可能なエントロピーパラメータλを用い、アブレーションスタディにより最適値を同定した。
• クラスタリングの文脈では、d次元の球面上の特徴にSOTを適用し、クラス内距離とクラス間距離の分離度を評価した。
• SOTは、ProtoNet、PTMAP、Sill-Netなどのモデルに統合され、特徴集約の置き換えまたは拡張として利用された。
• アブレーションスタディにより、複数のデータセットおよび設定におけるSinkhorn反復回数およびλの性能への影響が分析された。

実験結果

リサーチクエスチョン

• RQ1 Sinkhorn反復回数はSOT変換の性能および収束にどのように影響するか？
• RQ2 少数ショット分類および人物再識別において、エントロピー正則化パラメータλの最適値は何か？
• RQ3 高次元球面上での制御された合成クラスタリング実験において、SOTはどの程度特徴の分離性を向上させるか？
• RQ4 下流タスクにおける性能および安定性の観点から、SOTは自己アテンション機構と比較してどの程度優れているか？
• RQ5 SOTは、miniImageNetやMarket-1501を含む多様なアーキテクチャおよびデータセットにおいて一貫して性能を向上させることができるか？

主な発見

• SOT変換では、4回のSinkhorn反復でほぼ最適な性能が達成され、8回を超えても改善は顕著でないため、高速収束が示された。
• 少数ショット分類ではλ = 0.1が良好なトレードオフを提供するが、Market-1501 Re-IDベンチマークではλ = 0.25がより優れた結果をもたらした。
• 合成球クラスタリングタスクでは、SOTがクラス内距離とクラス間距離の分離性を顕著に向上させた。特にノイズが多く、次元が高い状況で顕著な改善が見られた。
• ResNet-12を用いたminiImageNetにおける少数ショット分類では、SOTによりProtoNetの性能が5-way-1-shotおよび5-way-5-shot設定で1.2–2.3百分率ポイント向上した。
• λ = 0.25に更新したSOTは、PTMAPやSill-Netを含む先行手法を上回り、Market-1501 Re-IDで新たな最先端の結果を達成した。
• SOT変換はNMIおよびARIといったクラスタリング指標を一貫して向上させた。特にNMIの向上が、精度の向上よりも顕著に観察された。