[論文レビュー] Evolving Losses for Unlabeled Video Representation Learning

AJ Piergiovanni, Anelia Angelova+1 more|arXiv (Cornell University)|Jun 7, 2019

Human Pose and Action Recognition参考文献 9被引用数 4

ひとこと要約

本論文は、マルチモーダルでマルチタスクな自己教師あり動画表現学習において、最適な損失重みを自動で発見するための進化型アルゴリズムを提案する。音声、オプティカルフロー、時系列特徴量を1つのRGBベースのネットワークに蒸留することで、教師なしの動画データのみを用いて、ImageNetの事前学習や教師ありKineticsの微調整を上回る性能を達成し、HMDB51では66.2%、UCF101では92.4%の精度を達成した。

ABSTRACT

We present a new method to learn video representations from unlabeled data. Given large-scale unlabeled video data, the objective is to benefit from such data by learning a generic and transferable representation space that can be directly used for a new task such as zero/few-shot learning. We formulate our unsupervised representation learning as a multi-modal, multi-task learning problem, where the representations are also shared across different modalities via distillation. Further, we also introduce the concept of finding a better loss function to train such multi-task multi-modal representation space using an evolutionary algorithm; our method automatically searches over different combinations of loss functions capturing multiple (self-supervised) tasks and modalities. Our formulation allows for the distillation of audio, optical flow and temporal information into a single, RGB-based convolutional neural network. We also compare the effects of using additional unlabeled video data and evaluate our representation learning on standard public video datasets.

研究の動機と目的

• 手動によるチューニングの代わりに、最適な損失関数重みを自動で発見することにより、自己教師あり動画表現学習を向上させること。
• RGB、音声、オプティカルフロー、グレースケール特徴量のマルチモーダルでマルチタスクな学習を可能にし、知識を1つのRGBネットワークに蒸留すること。
• 教師あり事前学習を一切行わず、大規模な教師なし動画データが下流の認識性能に与える影響を評価すること。
• 損失関数を進化させることで、ランダムまたは手作業で設計された損失組み合わせよりも優れた一般化性能が得られることを示すこと。
• 進化した損失重みを通じて、行動認識に最も寄与するタスクおよびモダリティを分析すること。

提案手法

• マルチモーダルでマルチタスクな学習問題として自己教師あり動画表現学習を定式化し、蒸留によりモダリティ間で共有表現を実現する。
• タスク固有の損失 $\mathcal{L}_{m,t}$ と蒸留損失 $\mathcal{L}_d$ の重み付き和を総合損失として用いる：$\mathcal{L} = \sum_{m}\sum_{t}\lambda_{m,t}\mathcal{L}_{m,t} + \sum_{d}\lambda_d\mathcal{L}_d$、ここで $\lambda_{m,t}, \lambda_d \in [0,1]$。
• 進化型アルゴリズムを用いて損失重みの空間を探索し、重み設定の集団を維持し、HMDBのサブセットにおけるクラスタリング性能に基づいて適応度の高い個体を選択する。
• 蒸留損失は、対応する層における主なRGBネットワークと他のモダリティ（例：音声、フロー）の活性化値との $L_2$ 差分として定義する。
• 進化型集団を $[0,1]$ の範囲でランダムに初期化し、1人の個体あたり1つの重みを変異させ、最良の性能を示す設定に段階的に改善する。
• 限定的なラベル付きデータを用いた微調整の後、標準的な動画ベンチマーク（HMDB51、UCF101）で最終モデルを評価する。

実験結果

リサーチクエスチョン

• RQ1 進化型アルゴリズムは、マルチタスクでマルチモーダルな自己教師あり動画表現学習における最適な損失重みを効果的に発見できるか？
• RQ2 進化した損失関数の性能は、手作業で設計されたものやランダムな損失関数と比較して、下流の行動認識精度においてどのように差がつくか？
• RQ3 自己教師ありタスクおよびモダリティ（例：音声、フロー、RGB）のうち、どのものが効果的な動画表現学習に最も寄与しているか？
• RQ4 教師あり事前学習を一切行わず、教師なし動画データのみで、ImageNet や Kinetics の事前学習と同等の性能を達成できるか、その程度はどの程度か？
• RQ5 蒸留損失のタイミングとレイヤー位置が表現品質に与える影響は何か？また、進化した損失構造にはどのようなパターンが現れるか？

主な発見

• 進化した損失関数は、Kineticsのラベル付きデータの10%のみを用いた微調整後、HMDB51で66.2%、UCF101で92.4%の精度を達成し、ImageNet事前学習および教師ありKineticsベースラインを上回った。
• ラベル付きサンプルを25,000個（Kineticsの10%）のみ使用した場合、58.1%の精度を達成し、完全な教師ありベースラインからわずか11%の差にとどまり、優れたデータ効率性を示した。
• 進化した損失は、音声・動画の整合性、将来のフレーム予測、RGBからフローへの再構成といったタスクに高い重みを割り当てている一方で、フレームシャッフルや色収差タスクには低い重みを割り当てている。
• グレースケール特徴量（RGBに近い）には早期に蒸留が適用され、音声やフロー特徴量には後期に適用される傾向があり、モダリティごとの最適な統合タイミングが異なることが示唆された。
• 進化プロセスは、フレーム順序予測や色収差よりも、クロスモダリティ再構成や整合性タスクが行動認識に寄与する上でより有益であると特定した。
• 教師なしデータ量を増やすことで性能が一貫して向上し、固定された学習時間内ではデータ量を増やすことでより大きな向上が得られたことから、スケーラビリティが確認された。