[論文レビュー] Deep End2End Voxel2Voxel Prediction

Du Tran, Lubomir Bourdev+3 more|arXiv (Cornell University)|Nov 20, 2015

Advanced Vision and Imaging参考文献 24被引用数 10

ひとこと要約

本稿では、3次元畳み込みニューラルネットワーク（3D ConvNet）であるV2Vを提案する。このモデルは、前処理や後処理を一切行わず、生動画入力を用いてエンド・ツー・エンドに学習させることで、3つの異なるタスク—光流推定、セマンティックセグメンテーション、動画カラー化—におけるボクセル単位の予測を実現し、競争力ある性能を達成した。

ABSTRACT

Over the last few years deep learning methods have emerged as one of the most prominent approaches for video analysis. However, so far their most successful applications have been in the area of video classification and detection, i.e., problems involving the prediction of a single class label or a handful of output variables per video. Furthermore, while deep networks are commonly recognized as the best models to use in these domains, there is a widespread perception that in order to yield successful results they often require time-consuming architecture search, manual tweaking of parameters and computationally intensive pre-processing or post-processing methods. In this paper we challenge these views by presenting a deep 3D convolutional architecture trained end to end to perform voxel-level prediction, i.e., to output a variable at every voxel of the video. Most importantly, we show that the same exact architecture can be used to achieve competitive results on three widely different voxel-prediction tasks: video semantic segmentation, optical flow estimation, and video coloring. The three networks learned on these problems are trained from raw video without any form of preprocessing and their outputs do not require post-processing to achieve outstanding performance. Thus, they offer an efficient alternative to traditional and much more computationally expensive methods in these video domains.

研究の動機と目的

• 1つの統一された3次元畳み込みネットワークアーキテクチャが、多様なボクセルレベルの動画予測タスクにエンド・ツー・エンドで適用可能であることを示すこと。
• 深層学習モデルが高性能を発揮するには、広範なアーキテクチャの特化、ハイパーパramータのチューニング、または前処理・後処理を必要としないという認識に挑戦すること。
• 生動画データに対するエンド・ツー・エンド学習により、リアルタイム応用に適した効率的で高精度なモデルが得られることを示すこと。
• 異なるドメイン（例：行動認識）から事前学習したモデルが、下流のボクセル予測タスクの性能向上に寄与するかどうかを調査すること。
• エンド・ツー・エンド学習により、複雑な手作業で設計されたアルゴリズム（例：光流推定法）を、軽量な深層学習モデルに蒸留する可能性を評価すること。

提案手法

• 空間分解能を保持し、密度の高いボクセルレベル出力を可能にするために、可学習なアップサンプリング層を備えた完全畳み込み3次元ConvNetを採用する。
• 同じネットワークアーキテクチャを、光流推定、セマンティックセグメンテーション、動画カラー化の3つの異なる動画予測タスクにエンド・ツー・エンドで学習する。
• 前処理なしに生動画フレームを入力とし、動画カラー化タスクでは入力をグレースケールに変換し、出力としてRGBを予測する。
• 動画カラー化にはL2回帰損失、セグメンテーションには交差エントロピー損失を適用し、学習率減衰を伴う確率的勾配降下法を用いる。
• UCF101データセットを用いて、すべてのタスクで事前学習を用いず、アーキテクチャの一般化能力を強調するために、すべてのタスクをスクラッチから学習する。
• すべてのタスクに同一のネットワークアーキテクチャを適用することで、転移可能性と最小限のアーキテクチャ設計の必要性を示す。

実験結果

リサーチクエスチョン

• RQ1 1つの固定された3次元畳み込みネットワークアーキテクチャが、複数の異なるボクセルレベルの動画予測タスクで競争力ある性能を達成できるか？
• RQ2 生動画入力に対するエンド・ツー・エンド学習により、計算コストの高い前処理や後処理のステップが不要になるか？
• RQ3 複雑な手作業で設計されたアルゴリズム（例：光流推定）の出力を模倣するように学習した深層学習モデルが、元の手法を精度と効率の両面で上回れるか？
• RQ4 事前学習モデル（例：行動認識）からのファインチューニングが、下流のボクセル予測タスクの性能向上に寄与するか、それともスクラッチからの学習がより効果的か？
• RQ5 限定的な教師信号のもとで、モデルが「常識的な」視覚的事前知識（例：空の青、草の緑、肌の色）をどれだけ学習できるか？

主な発見

• 同じ3次元ConvNetアーキテクチャが、光流推定、セマンティックセグメンテーション、動画カラー化という3つの異なるボクセル予測タスクで、最先端または競争力ある性能を達成した。
• 動画カラー化タスクにおいて、V2Vモデルは平均距離誤差（ADE）0.1375を達成し、2次元ベースライン（ADE 0.1495）を上回り、色の予測精度が向上した。
• 光流推定において、手作業で設計された手法の出力を学習対象としたV2Vモデルは、教師手法よりもわずかに高い精度を達成した一方で、70倍高速であった。
• 下流タスク（例：光流推定）が、事前学習モデル（例：行動認識）とは異なる視覚的特徴を必要とする場合、スクラッチからの学習がファインチューニングを上回る性能を発揮した。
• 限定的な教師信号のもとでも、モデルは「常識的な色」（例：空の青、草の緑、肌の色）といった意味的に関連する特徴を学習した。
• 前処理・後処理の欠如に加え、効率的な畳み込み演算のおかげで、リアルタイム推論が可能となり、大規模な動画応用に適したモデルとなった。