[論文レビュー] CortexNet: a Generic Network Family for Robust Visual Temporal Representations

Alfredo Canziani, Eugenio Culurciello|arXiv (Cornell University)|Jun 8, 2017

Visual Attention and Saliency Detection参考文献 17被引用数 12

ひとこと要約

CortexNetは、人間の視覚皮質にインspiredされた新しい深層ニューラルネットワークファミリーであり、下位から上位へのフィードフォワード、上位から下位へのフィードバック、および横方向の結合を組み合わせることで、動画からのロバストな時系列視覚表現を学習する。非教師ありMatchNetおよび弱教師ありTempoNetの訓練手法を用い、将来のフレームを予測し、物体を追跡する。時間的摂動および adversarial ノイズに対して優れたロバスト性を示す安定した注意誘導型動画予測を実現する。

ABSTRACT

In the past five years we have observed the rise of incredibly well performing feed-forward neural networks trained supervisedly for vision related tasks. These models have achieved super-human performance on object recognition, localisation, and detection in still images. However, there is a need to identify the best strategy to employ these networks with temporal visual inputs and obtain a robust and stable representation of video data. Inspired by the human visual system, we propose a deep neural network family, CortexNet, which features not only bottom-up feed-forward connections, but also it models the abundant top-down feedback and lateral connections, which are present in our visual cortex. We introduce two training schemes - the unsupervised MatchNet and weakly supervised TempoNet modes - where a network learns how to correctly anticipate a subsequent frame in a video clip or the identity of its predominant subject, by learning egomotion clues and how to automatically track several objects in the current scene. Find the project website at https://engineering.purdue.edu/elab/CortexNet/.

研究の動機と目的

• 人間の視覚皮質のフィードバックおよび横方向結合を模倣した深層ニューラルネットワークアーキテクチャを開発し、時系列動画理解を向上させること。
• 遅延フィードバックおよび注意制御を含む生物学的に妥当なメカニズムを導入することで、動画タスクにおけるフィードフォワードネットワークの不安定性を是正すること。
• 大規模なアノテート済みデータセットを必要とせず、非教師ありまたは弱教師ありの訓練を用いてロバストな動画表現学習を可能にすること。
• 時系列整合性を考慮したエンドツーエンド訓練が、安定的で予測可能かつ注意を意識した動画表現を生み出すかを検証すること。
• フィードバックおよび横方向結合が、動画入力における adversarial ノイズおよび時間的摂動に対してロバスト性を向上させることを示すこと。

提案手法

• CortexNetは、スタックされた残差ブロックを用いた深層アーキテクチャであり、予測コーディングにインspiredされた下位から上位へのフィードフォワード経路に加え、上位から下位への遅延的モジュレートフィードバックおよび横方向結合を統合する。
• ストライド付き畳み込み、非線形関数、加法的信号統合を用い、スパatiotemporal入力を直接ピクセル空間で処理する。
• 2つの訓練モードを導入：非教師ありの次フレーム予測のためのMatchNet（動画インデックスマッチングを用いる）、および時間軸を逆伝播する（BPTT）ことで弱教師ありの物体識別予測を実行するTempoNet。
• 訓練目的関数はピクセルレベル再構成損失（Lπ）、時間的整合性損失（Lτ）、正則化項（Lμ）を組み合わせており、安定性を最適化するためのハイパーパrameterが調整されている。
• 動的注意領域を可視化するためのサリエンシー・ハイライトアルゴリズムを用い、予測過程におけるネットワークの注目領域の時間的変化を可視化する。
• ImageNetに類似したデータで事前学習を行い、e-VDS35動画データセット上で35クラス分類ヘッドを用いてエンドツーエンドで微調整する。

実験結果

リサーチクエスチョン

• RQ1 フィードバックおよび横方向結合を有する深層ニューラルネットワークは、標準的なフィードフォワードネットワークと比較して、よりロバストで安定した時系列視覚入力表現を学習できるか？
• RQ2 動画の時間的整合性に基づく非教師あり訓練は、強力な教師信号がなくても、効果的な次フレーム予測および物体追跡を可能にするか？
• RQ3 スパarselyラベル化されたデータ（例：動画インデックスまたは物体クラス）を用いた弱教師あり訓練により、安定的で注意誘導型の動画予測が達成できるか？
• RQ4 上位から下位へのフィードバックおよび横方向結合は、注意メカニズムおよび時間的摂動に対するロバスト性にどのように寄与するか？
• RQ5 ネットワークの内部表現は、特に物体追跡および運動補償において、生物学的視覚処理にどの程度類似しているか？

主な発見

• CortexNetは、TempoNetモードで検証時の平均二乗誤差（MSE）が14.2 mMSEに達し、ベースラインのフィードフォワードモデルを著しく上回る安定した次フレーム予測を達成した。
• ネットワークはサリエンシー強調アルゴリズムによって可視化されたように、シーンの主要な物体に動的に注目する内部の注意メカニズムを発達させた。
• 時間的摂動下でも、CortexNetの完全なモデルは一貫した予測を維持するが、分類器専用ブランチはフレッシャーの出力となるなど、不安定な出力を示した。
• 入力マッチングタスク（Lπ ≈ 6.88 nit）におけるモデルの性能は、将来のフレーム予測が下層（Dn, Gn）ペアによって効果的に解決されていることを示しており、階層的特徴学習が行われていると考えられる。
• フィードバックおよび横方向結合の使用により、動画ストリームにおける adversarial ノイズおよび動きアーチファクトに対する感受性が低減され、よりロバストで安定した表現が得られた。
• 35クラス分類ヘッドと時間的整合性損失を用いた微調整により一般化性能が向上し、弱教師あり学習が動画理解において有効であることが示された。