[論文レビュー] Representation Learning via Adversarially-Contrastive Optimal Transport

Anoop Cherian, Shuchin Aeron|arXiv (Cornell University)|Jul 11, 2020

Human Pose and Action Recognition被引用数 5

ひとこと要約

本論文は、低次元データ部分空間、Wasserstein GANを用いた敵対的ネガティブサンプル生成、最適輸送を用いた時系列順序制約を統合的に最適化する新しい表現学習フレームワーク、Adversarially-Contrastive Optimal Transport (ACOT) を提案する。この手法は、敵対的ノイズに対して効果的に対比できる頑健でコンパクトな表現を学習することで、動画行動認識において競争力ある性能を達成する。

ABSTRACT

In this paper, we study the problem of learning compact (low-dimensional) representations for sequential data that captures its implicit spatio-temporal cues. To maximize extraction of such informative cues from the data, we set the problem within the context of contrastive representation learning and to that end propose a novel objective via optimal transport. Specifically, our formulation seeks a low-dimensional subspace representation of the data that jointly (i) maximizes the distance of the data (embedded in this subspace) from an adversarial data distribution under the optimal transport, a.k.a. the Wasserstein distance, (ii) captures the temporal order, and (iii) minimizes the data distortion. To generate the adversarial distribution, we propose a novel framework connecting Wasserstein GANs with a classifier, allowing a principled mechanism for producing good negative distributions for contrastive learning, which is currently a challenging problem. Our full objective is cast as a subspace learning problem on the Grassmann manifold and solved via Riemannian optimization. To empirically study our formulation, we provide experiments on the task of human action recognition in video sequences. Our results demonstrate competitive performance against challenging baselines.

研究の動機と目的

• 時空間的構造を保ちながら、順序付き動画データのためのコンパクトで情報豊富な低次元表現を学習する課題に対処すること。
• ランダムまたはヒューリスティックなネガティブサンプルに依存するのではなく、高品質でタスク関連のネガティブサンプルを生成することで、コントラスト的表現学習を改善すること。
• 最適輸送に基づく統一的目的関数を用いて、表現学習、敵対的ネガティブサンプル生成、時系列順序を統合的に最適化すること。
• 埋め込み空間における元のデータに近い表現を保つために、特別な歪みペナルティを用いてデータの歪みを低減し、忠実度を維持すること。

提案手法

• Wasserstein距離に基づく敵対的ノイズからの分離を最大化する低次元部分空間を求めるために、Grassmann多様体最適化問題として表現学習を定式化する。
• 陽性データに条件付けられた敵対的ノイズを生成する新しいWGANベースのフレームワークを導入し、入力分布と相関を保ちつつ高い識別能を確保する。
• 正例データと生成されたネガティブサンプルを最適輸送によって結合し、データポイントが最も近いネガティブサンプルに確率的・ソフトな割り当てを学習する。
• 射影された表現における順序構造を保つために、時系列順序制約を組み込む。
• 射影された表現が元のデータに埋め込み空間で近くなるように、歪みペナルティを組み込む。
• 線形分類器を用いて生成器をガイドし、誤分類されるような敵対的サンプルを生成することで、識別能と表現品質の間の原理的妥当なトレードオフを実現する。

実験結果

リサーチクエスチョン

• RQ1 ランダムまたはヒューリスティックなネガティブサンプルと比較して、敵対的に生成されたネガティブサンプルは、動画行動認識におけるコントラスト的表現学習を改善できるか？
• RQ2 最適輸送に基づく正例とネガティブサンプルの結合は、低次元部分空間における表現品質をどのように向上させるか？
• RQ3 表現学習、敵対的生成、時系列モデリングを統合的に最適化するフレームワークは、動画分類タスクの性能をどの程度向上できるか？
• RQ4 分類器ガイド付きWGANの統合は、ネガティブサンプルの品質を向上させ、下流タスクの性能を向上させるか？
• RQ5 提案手法は、順序付きデータにおける表現のコンパクト性、歪み、時系列的一致性をどのようにバランスさせるか？

主な発見

• 提案されたACOTフレームワークは、オフザシェル特徴を用いた強力なベースラインを上回る、人間の行動認識ベンチマークで競争力ある性能を達成する。
• 分類器ガイド付きWGANによるネガティブサンプルの使用は、ランダムまたは非敵対的ネガティブサンプルと比較して、より効果的なコントラスト的学習を実現する。
• 歪みペナルティのおかげで表現の忠実度が高く保たれ、過剰正則化を防ぎ、識別的特徴を維持する。
• 部分空間学習、最適輸送結合、時系列順序の統合的最適化により、動画シーケンス全体にわたって一般化しやすい頑健な表現が得られる。
• 分類器に対するWGAN生成器のだまし率は500イテレーション後に約80%に達し、効果的な敵対的サンプル生成を示している。
• 実験的アブレーションにより、ノイズ注入におけるσ = 0.01が敵対的品質と下流性能の最適なトレードオフを提供することが示された。