[論文レビュー] TKD: Temporal Knowledge Distillation for Active Perception

Mohammad Farhadi, Yezhou Yang|arXiv (Cornell University)|Mar 4, 2019

Advanced Neural Network Applications参考文献 47被引用数 9

ひとこと要約

TKDは、LSTMベースのキーフレーム選択と教師制限型損失関数を用いて、重いオブジェクト検出モデルから軽量な学生モデルへ動的で文脈に適応した知識を伝達する時間的知識蒸留フレームワークを提案する。これにより、約220 FPSのリアルタイム推論が可能となり、特に屋内・屋外環境などのドメイン適応的状況において、オラクルモデルに近い精度を維持することができる。

ABSTRACT

Deep neural networks based methods have been proved to achieve outstanding performance on object detection and classification tasks. Despite significant performance improvement, due to the deep structures, they still require prohibitive runtime to process images and maintain the highest possible performance for real-time applications. Observing the phenomenon that human vision system (HVS) relies heavily on the temporal dependencies among frames from the visual input to conduct recognition efficiently, we propose a novel framework dubbed as TKD: temporal knowledge distillation. This framework distills the temporal knowledge from a heavy neural networks based model over selected video frames (the perception of the moments) to a light-weight model. To enable the distillation, we put forward two novel procedures: 1) an Long-short Term Memory (LSTM) based key frame selection method; and 2) a novel teacher-bounded loss design. To validate, we conduct comprehensive empirical evaluations using different object detection methods over multiple datasets including Youtube-Objects and Hollywood scene dataset. Our results show consistent improvement in accuracy-speed trad-offs for object detection over the frames of the dynamic scene, compare to other modern object recognition methods.

研究の動機と目的

• リアルタイムロボットビジョンにおける深層ニューラルネットワークの高い計算コストと遅い推論速度に対処すること。
• 人間の視覚系の適応にインspiredされた、動画シーケンス内の時間的依存性を活用し、効率性と精度を向上させること。
• 再トレーニングなしで、変化する視覚ドメイン（例：屋内対屋外）に動的に適応できる軽量モデルを可能にすること。
• 時間的文脈を保持し、学生モデルのトレーニング中に誤検出を低減する知識蒸留手法を設計すること。
• 組み込みおよびモバイルロボットシステムに適した、高精度かつ高速なトレードオフを達成すること。

提案手法

• 長短期記憶（LSTM）ベースのキーフレーム選択モジュールが、シーン遷移や環境変化に注目して、蒸留に適した顕著なフレームを特定する。
• 教師制限型損失関数を新たに導入し、知識伝達の安定性を向上させ、精度と再現率のバランスを最適化するためのハイパーパrameter λ を経験的に 0.4 に設定した。
• フレームワークはエンドツーエンドのトレーニングを実行し、オラクル（教師）モデルから学生モデルへ、時間的文脈と外観分布の知識を伝達する。
• 学生モデルは選択されたキーフレームのみでトレーニングされるため、計算負荷が低減されつつも認識性能が維持される。
• 損失関数は計算的に効率的であり、オブジェクト数に比例して増加するNMSベースの手法とは異なり、定数時間で実行される。
• ドメイン適応が可能である：TVシリーズの新しいエピソードで再トレーニングなしにテストしたところ、ベースラインの学生モデルに比べて精度が6%向上した。

実験結果

リサーチクエスチョン

• RQ1 時間的知識蒸留は、モバイルロボティクスにおけるリアルタイムオブジェクト検出の精度-速度トレードオフを改善できるか？
• RQ2 動画シーケンス内の時間的依存性は、どのようにして軽量モデルの性能向上に効果的に活用できるか？
• RQ3 重いオラクルモデルからの知識を用いて、軽量モデルが新しい視覚ドメイン（例：屋内から屋外）に動的に適応できるか？
• RQ4 過剰な誤検出を生成せずに、高速かつ安定した、かつ高精度な蒸留を実現する損失関数の設計はどのようなものか？
• RQ5 シーン変化に基づくキーフレーム選択は、どのように蒸留効率とモデル一般化性能を向上させるか？

主な発見

• TKDは約220枚/秒のスループットを達成し、リソース制限のあるシステムでもリアルタイム推論が可能である。
• 再トレーニングなしでTVシリーズの新しいエピソードでテストしたところ、精度が6%向上し、強力なドメイン適応性を示した。
• λ = 0.4 の場合、教師制限型損失は誤検出の過剰発生とオラクルモデルのノイズへの過剰適合の両方を回避する最良のバランスを達成した。
• 提案された損失関数は定数計算コストであるのに対し、MehtaらのNMSベースの損失関数は検出オブジェクト数に比例して増加する。
• LSTMに基づくキーフレーム選択は、静的フレーム選択戦略に比べ、特にシーン遷移時においてモデルの安定性と性能を向上させた。
• TKDは未学習のオブジェクトに対しても高い再現率を維持しており、学習ドメインを超えた良好な一般化性能を示している。