[論文レビュー] Progressive Sparse Local Attention for Video object detection

Chaoxu Guo, Bin Fan+5 more|arXiv (Cornell University)|Mar 21, 2019

Advanced Neural Network Applications参考文献 42被引用数 25

ひとこと要約

本稿では、順次疎な局所自己注意を用いてフレーム間の空間的対応を確立する、新しいモジュールであるプログレッシブスパースローカルアテンション（PSLA）を提案する。この手法により、オプティカルフローへの依存を排除した。PSLAを再帰的特徴更新と密度的な特徴変換と統合することで、より小型のモデルと妥当な推論速度でImageNet VIDで最先端の精度を達成した。

ABSTRACT

Transferring image-based object detectors to the domain of videos remains a challenging problem. Previous efforts mostly exploit optical flow to propagate features across frames, aiming to achieve a good trade-off between accuracy and efficiency. However, introducing an extra model to estimate optical flow can significantly increase the overall model size. The gap between optical flow and high-level features can also hinder it from establishing spatial correspondence accurately. Instead of relying on optical flow, this paper proposes a novel module called Progressive Sparse Local Attention (PSLA), which establishes the spatial correspondence between features across frames in a local region with progressively sparser stride and uses the correspondence to propagate features. Based on PSLA, Recursive Feature Updating (RFU) and Dense Feature Transforming (DenseFT) are proposed to model temporal appearance and enrich feature representation respectively in a novel video object detection framework. Experiments on ImageNet VID show that our method achieves the best accuracy compared to existing methods with smaller model size and acceptable runtime speed.

研究の動機と目的

• 時間的情報を効果的に活用することで、画像ベースのオブジェクト検出器を動画に適用する課題に対処すること。
• オプティカルフローに基づく特徴伝搬の限界（高コストなモデル、高レベル特徴との不整合）を克服すること。
• 外部のフロー推定を必要とせず、正確なフレーム間空間的対応を確立できる軽量でエンドツーエンドで学習可能なモジュールを開発すること。
• 再帰的特徴更新と密度的な特徴変換を通じて、動画内の特徴表現と検出精度を向上させること。

提案手法

• 特徴のフレーム間対応を高めるために、徐々に疎らしくなるストライドを用いて受容 field を段階的に拡大するプログレッシブスパースローカルアテンション（PSLA）を提案する。
• 全アテンション計算を回避するため、疎な領域内での局所アテンションを用いて、効率的にフレーム間の特徴対応を計算する。
• 再帰的特徴更新（RFU）を用いた時間的特徴の精練を可能にする、新しい動画オブジェクト検出フレームワークにPSLAを統合する。
• 複数の時間的・空間的スケールにわたる特徴を集約することで、特徴表現を豊かにするための密度的な特徴変換（DenseFT）を適用する。
• 事前学習済みのオプティカルフロー モデルを必要とせず、ネットワーク全体をエンドツーエンドで学習する。
• 計算効率を考慮したアーキテクチャを設計し、精度と推論速度のバランスをとる。

実験結果

リサーチクエスチョン

• RQ1 オプティカルフローに依存せずに、動画オブジェクト検出における正確なフレーム間特徴対応を達成できるか？
• RQ2 密度的またはフローに基づく手法と比較して、プログレッシブスパースローカルアテンションは特徴伝搬をどのように改善するか？
• RQ3 再帰的特徴更新と密度的な特徴変換は、検出精度と特徴表現にどのような影響を与えるか？
• RQ4 フロー不要で軽量なモジュールが、モデルサイズを小さく抑えながらも最先端の性能を達成できるか？
• RQ5 従来のフローに基づく手法や非フロー手法と比較して、提案手法の精度と効率性はどのように異なるか？

主な発見

• 提案手法は、ImageNet VIDベンチマークで最先端の精度を達成した。
• 従来の最先端手法と比較して、パラメータ数が少ないモデルでも同様の精度を達成した。
• 推論速度は妥当な水準を維持しており、精度と効率性の良好なトレードオフを示した。
• アブレーションスタディにより、PSLAおよび提案された特徴精錬モジュールが性能向上に顕著な寄与をしていることが確認された。
• 高レベル特徴とオプティカルフローのドメインギャップを、直接的に特徴から空間的対応を学習することで低減した。