[論文レビュー] Back to Basics: Unsupervised Learning of Optical Flow via Brightness Constancy and Motion Smoothness

Jason J. Yu, Adam W. Harley+1 more|arXiv (Cornell University)|Aug 20, 2016

Advanced Vision and Imaging参考文献 12被引用数 28

ひとこと要約

本稿では、輝度定常性と運動の滑らかさを損失関数として用いることにより、画像ペアのみを用いたエンドツーエンドの教師なし学習アプローチを、光流推定に提案する。真の光流が存在しないにもかかわらず、KITTI データセットにおいて教師あり学習を上回り、非遮蔽領域では優れた結果を達成し、全体的にも競争力のある性能を示す。

ABSTRACT

Recently, convolutional networks (convnets) have proven useful for predicting optical flow. Much of this success is predicated on the availability of large datasets that require expensive and involved data acquisition and laborious la- beling. To bypass these challenges, we propose an unsuper- vised approach (i.e., without leveraging groundtruth flow) to train a convnet end-to-end for predicting optical flow be- tween two images. We use a loss function that combines a data term that measures photometric constancy over time with a spatial term that models the expected variation of flow across the image. Together these losses form a proxy measure for losses based on the groundtruth flow. Empiri- cally, we show that a strong convnet baseline trained with the proposed unsupervised approach outperforms the same network trained with supervision on the KITTI dataset.

研究の動機と目的

• 真の光流アノテーションを一切必要としない畳み込みニューラルネットワークの教師なし学習手法を開発すること。
• 自動運転のような実世界のシナリオで、大規模かつ高密度にアノテートされた光流データセットが不足している問題に対処すること。
• 光度的一致性と光流の滑らかさに基づく代理損失が、正確な光流ネットワークの学習に有効であることを示すこと。
• 合成データや弱教師ありデータに依存せずに、自動車映像などの実世界ドメインからの大量のラベルなし動画データを用いて学習を可能にすること。
• 真の光流が限られている、あるいは存在しない状況において、教師なし学習が教師ありベースラインを上回ることを検証すること。

提案手法

• 本手法は、予測された光流を用いて第二の画像を逆ワープし、第一の画像とその差を測定する光度損失を用い、輝度定常性を強制する。
• 空間的滑らかさ損失は、隣接する光流ベクトル間の大きな差をペナルティ化し、局所的に滑らかなかつ(piecewise smooth)な光流場を促進する。
• 総損失は、光度損失と滑らかさ損失の重み付き和であり、ハイパーパrameterはデータセット（Flying Chairs および KITTI）ごとに調整されている。
• Adam最適化を用い、学習率の減衰と、幾何的（反転、スケーリング）および光度的（色のジャマ）変換を含むデータ拡張を伴うエンドツーエンドの学習が行われる。
• 暗い領域や過飽和領域における頑健性を向上させるために、光度損失計算の前に、幾何的に拡張された画像を局所9×9応答正規化で正規化する。
• 本手法は FlowNet Simple アーキテクチャを用い、主な学習フェーズでは真の光流を一切使用しない画像ペアのみで学習される。

実験結果

リサーチクエスチョン

• RQ1 真の光流の教師なしで、畳み込みニューラルネットワークが光流を予測できるか？
• RQ2 光度的一致性と光流の滑らかさ損失を組み合わせることで、真の光流教師付き学習の代替として有効な代理損失が得られるか？
• RQ3 真の光流が不足している状況で、実世界の動画データに対する教師なし学習が教師あり学習を上回るか？
• RQ4 真の光流が限られている状況において、教師なし学習の性能が KITTI のような実世界データセットで教師ありベースラインと比べてどうなるか？
• RQ5 真のラベルが限られた実世界のシナリオ、例えば自動運転において、教師なし手法が一般化可能か？

主な発見

• KITTI 2012 データセットにおいて、非遮蔽ピクセルでの平均エンドポイント誤差（EPE）は 4.3 を達成し、教師あり FlowNet ベースライン（EPE 5.0）を上回った。
• 遮蔽領域を含む全テストセットでは、教師なし手法の EPE は 4.6 であり、教師ありベースライン（EPE 5.0）と同等の性能を示した。
• 教師なし手法は KITTI 学習セットにおいても教師あり FlowNet を上回った。これは、代理損失が真のデータが限られた状況でも有効であることを示している。
• 真の光流が豊富に存在する Flying Chairs データセットでは、依然として教師あり手法が優れている。これは、真のラベルが利用可能な状況では教師あり学習が最適であることを確認している。
• 本手法は NVIDIA GTX 1080 GPU で 0.03 秒/推論というリアルタイム性能を達成しており、実用的導入が可能である。
• 光度損失計算の前段階で幾何的拡張と局所応答正規化を適用することで、低照度および高飽和領域における頑健性が著しく向上した。