[論文レビュー] Discriminability Distillation in Group Representation Learning

Manyuan Zhang, Guanglu Song+2 more|arXiv (Cornell University)|Aug 25, 2020

Video Surveillance and Tracking Methods参考文献 76被引用数 4

ひとこと要約

本稿では、事前学習モデルからの埋め込みクラス重心を用いて、判別性スコアを蒸留する軽量な後処理手法である判別性蒸留学習（DDL）を提案する。判別性は、クラス内距離と最も近いハードネガティブなクラス間距離の比として測定され、高い判別性を持つ要素を特定することで、効率的で説明可能な特徴集約が可能となる。この手法は、顔認識、人物再識別、行動認識の分野で、最小限の計算コストで最先端の性能を達成する。

ABSTRACT

Learning group representation is a commonly concerned issue in tasks where the basic unit is a group, set, or sequence. Previously, the research community tries to tackle it by aggregating the elements in a group based on an indicator either defined by humans such as the quality and saliency, or generated by a black box such as the attention score. This article provides a more essential and explicable view. We claim the most significant indicator to show whether the group representation can be benefited from one of its element is not the quality or an inexplicable score, but the discriminability w.r.t. the model. We explicitly design the discrimiability using embedded class centroids on a proxy set. We show the discrimiability knowledge has good properties that can be distilled by a light-weight distillation network and can be generalized on the unseen target set. The whole procedure is denoted as discriminability distillation learning (DDL). The proposed DDL can be flexibly plugged into many group-based recognition tasks without influencing the original training procedures. Comprehensive experiments on various tasks have proven the effectiveness of DDL for both accuracy and efficiency. Moreover, it pushes forward the state-of-the-art results on these tasks by an impressive margin.

研究の動機と目的

• 注意メカニズムや品質スコアに依存する既存のグループ表現学習手法における説明可能性と効率性の欠如に対処すること。
• グループ内の代表的要素を選択するためのより根本的で解釈可能な指標を同定すること。
• ベースモデルの再訓練を必要とせず、効率的に判別性を推定できる軽量な蒸留ネットワークを開発すること。
• セット対セット顔認識、動画ベースの人物再識別、行動認識などのグループベースタスクにおける認識精度と計算効率を向上させること。
• 元のネットワークを変更せずに、未観測のデータ分布へも判別性知識を一般化可能にすること。

提案手法

• 事前学習モデルの埋め込みを用い、要素のクラス重心への距離と、最も近いハードネガティブなクラス重心への距離の比として判別性を定義する。
• 生の入力画像から正則化された判別性スコアを回帰する軽量な判別性蒸留ネットワーク（DDNet）を訓練する。
• 推論時にDDNetを適用し、グループ内のすべての要素に対してスコアを算出し、これらの判別性重みを用いて特徴を集約する。
• 計算コストを削減しながら性能を維持するため、高判別性要素のみを選択するフィルタリング戦略を可能にする。
• 動画ベースの応用のために、2D畝込みを3D畝込みに置き換えることで、同じDDNetアーキテクチャをさまざまなタスクに適用可能にする。
• ベースネットワークの再訓練を必要とせず、柔軟性と互換性を保つプラグインモジュールとしてDDLを統合する。

実験結果

リサーチクエスチョン

• RQ1 クラス内およびクラス間距離に基づく判別性は、注意メカニズムや品質スコアよりも、グループ表現学習において説明可能で効果的な指標として機能するか？
• RQ2 ベースモデルの再訓練を必要とせず、生の入力から効率的に判別性スコアを回帰できる軽量な蒸留ネットワークは実現可能か？
• RQ3 蒸留された判別性知識は、未観測のデータ分布や多様なグループベース認識タスクへ一般化できるか？
• RQ4 DDLは、動画ベースの人物再識別や行動認識などのタスクにおいて、認識精度を向上させるとともに計算コストを削減できるか？
• RQ5 未加工およびトリムされた動画データセットにおいて、DDLは密度サンプリング、ランダムサンプリング、均等サンプリングと比較して、精度と効率の面で優れているか？

主な発見

• DDLは平均プーリングよりもmAPを3.6%向上させ、セット対セット顔認識において注意メカニズムやRNNベースの集約手法を上回った。
• Marsデータセットでは、mAPが77.7%、CMC-1が84.0%を達成し、以前の最先端手法をmAPで1.0%、CMC-1で2.2%上回った。
• ActivityNet-1.2では、9クリップでランダムまたは均等サンプリングよりも4%の精度向上を達成し、5倍のクリップ数を要する密度サンプリングを2.49%上回った。
• Kinetics-700では、ランダムサンプリングに対して1.84%、均等サンプリングに対して2.18%の精度向上を達成した一方で、密度サンプリングに比べ6倍の高速化を実現した。
• DDNetは非常に効率的で、ベースモデルの計算量のほんの一部にとどまり、選択的特徴抽出により顕著な推論速度向上を実現した。
• 本手法は、顔認識、人物再識別、行動認識など多様なタスクにわたり、ベースネットワークを変更せずに良好な一般化性能を示した。