[論文レビュー] Convolutional Networks in Visual Environments

Alessandro Betti, Marco Gori|arXiv (Cornell University)|Jan 16, 2018

Advanced Vision and Imaging参考文献 17被引用数 5

ひとこと要約

本論文は、最小認知的作用の原則に基づき、視覚的環境における畳み込みネットワークの新規な教師なし学習フレームワークを提案する。この原則により、動画ストリームから教師なしでフィルタを学習するための微分方程式が導出され、運動不変性を強制する。理論により、動画処理によるエンドツーエンドの特徴発見が可能となり、数学的導出では動画セグメントのぼかしが認知的作用を最小化し、安定した運動不変性を持つフィルタをもたらすことが示される。

ABSTRACT

The puzzle of computer vision might find new challenging solutions when we realize that most successful methods are working at image level, which is remarkably more difficult than processing directly visual streams. In this paper, we claim that their processing naturally leads to formulate the motion invariance principle, which enables the construction of a new theory of learning with convolutional networks. The theory addresses a number of intriguing questions that arise in natural vision, and offers a well-posed computational scheme for the discovery of convolutional filters over the retina. They are driven by differential equations derived from the principle of least cognitive action. Unlike traditional convolutional networks, which need massive supervision, the proposed theory offers a truly new scenario in which feature learning takes place by unsupervised processing of video signals. It is pointed out that an opportune blurring of the video, along the interleaving of segments of null signal, make it possible to conceive a novel learning mechanism that yields the minimum of the cognitive action. Basically, while the theory enables the implementation of novel computer vision systems, it is also provides an intriguing explanation of the solution that evolution has discovered for humans, where it looks like that the video blurring in newborns and the day-night rhythm seem to emerge in a general computational framework, regardless of biology.

研究の動機と目的

• 教師あり深層学習が大量のラベル付きデータを必要とするというコンピュータビジョン分野の根本的限界を、生物学的にインspiredされた教師なし代替手法によって解決すること。
• 運動不変性に基づく視覚学習の計算理論を提示し、自然な視覚において運動が視覚的不変性の主な駆動要因であると主張すること。
• 最小認知的作用に基づく変分原理を導出し、ピixeLレベルのアノテーションなしに、生動画から直接畳み込みフィルタを生成可能とする。
• 視覚的特徴の学習を視覚的運動のダイナミクスと統合し、光流一致性が自然に安定で不変な表現を生み出すことを示すこと。
• 人工的および生物学的視覚学習を説明する理論的・計算的フレームワークを提供し、新生児の視覚ぼやけや概日リズムといった発達的現象を含むこと。

提案手法

• 最小認知的作用の原則に基づき、視覚的特徴学習を時間的変動問題としてモデル化するラグランジュ作用関数を導出する。
• 作用関数のオイラー＝ラグランジュ方程式から導出された微分方程式系（式44）を導入し、運動制約下での特徴フィルタの進化を支配する。
• 明るさ不変性を用いた光流推定により、動画フレーム間での運動一貫性を強制し、運動と特徴の安定性を結びつける。
• 認知的作用を最小化するため、動画のノルム信号セグメントに沿ってぼかし機構を適用し、教師なしで安定したフィルタ学習を可能にする。
• 作用関数から導出された時変係数（A(t), B(t), C(t), D(t)）（式45a–45e）を組み込み、動的フィルタ適応をモデル化する。
• 運動不変フィルタと非運動不変特徴を組み合わせたハイブリッドシステムを導入し、ハイレベルな視覚的タスクに応用するための合成作用関数を用いる。

実験結果

リサーチクエスチョン

• RQ1 なぜ人間は少数の例から視覚的概念を学習できるのに対し、深層ネットワークは大量の教師データを必要とするのか？
• RQ2 運動不変性は、人工系における教師なし視覚的特徴学習の基礎的原則として機能しうるか？
• RQ3 最小認知的作用に基づく原理的な変分フレームワークは、ピクセルレベルのアノテーションなしに、生動画から安定で不変な畳み込みフィルタをどのように得られるか？
• RQ4 動画のぼかしと時間的セグメンテーションは、認知的コストを最小化し、特徴発見を可能にする役割を果たすか？
• RQ5 提案された理論は、新生児の視覚ぼやけや概日リズムといった生物学的視覚発達現象を説明できるか？

主な発見

• 理論は、運動不変性が並進、回転、スケール不変性を包含しており、視覚認識における根本的不変性であることを示している。
• 導出されたオイラー＝ラグランジュ方程式（式44）は、運動下でも安定を保つ畳み込みフィルタの学習を可能にする動的システムを提供する。
• ノルム信号区間に沿って動画セグメントをぼかすことで、認知的作用が最小化され、特徴フィルタの安定的で最適な学習軌道が得られる。
• フレームワークにより、ピクセルレベルのラベルや事前定義されたデータセットなしに、動画から直接畳み込みフィルタを教師なしで発見可能である。
• モデルの境界条件（式44）により、時刻Tで入力がゼロのとき、解が微分にのみ依存することを保証し、一時的入力に対して強い耐性を示す。
• 理論により、人工的および生物学的視覚システムを統一的に説明する計算的枠組みが提供され、発達的視覚現象を1つの変分原理に結びつける。