[論文レビュー] Three for one and one for three: Flow, Segmentation, and Surface Normals

Hoàng-Ân Lê, Anil S. Baslamisli+2 more|arXiv (Cornell University)|Jul 19, 2018

Advanced Vision and Imaging被引用数 5

ひとこと要約

本稿では、光学フロー、セマンティックセグメンテーション、表面法線を補完的特徴として用い、互いの精度を向上させるモジュラーで教師ありのリファインメントネットワークを提案する。密度のあるアノテーションを備えた大規模な合成データセットを用いて、共同モデリングが境界明確化、領域一貫性、3次元シーン構造の回復を顕著に向上させることを示している。特に、3つのモダリティを併用した場合に最も優れた結果が得られた。

ABSTRACT

Optical flow, semantic segmentation, and surface normals represent different information modalities, yet together they bring better cues for scene understanding problems. In this paper, we study the influence between the three modalities: how one impacts on the others and their efficiency in combination. We employ a modular approach using a convolutional refinement network which is trained supervised but isolated from RGB images to enforce joint modality features. To assist the training process, we create a large-scale synthetic outdoor dataset that supports dense annotation of semantic segmentation, optical flow, and surface normals. The experimental results show positive influence among the three modalities, especially for objects' boundaries, region consistency, and scene structures.

研究の動機と目的

• シーン理解における光学フロー、セマンティックセグメンテーション、表面法線の相互影響を調査すること。
• 他の2つのタスクの予測を用いて1つのタスクを向上させるモジュラーなリファインメントフレームワークを開発すること。
• 自然な屋外シーンにおける3つのモダリティすべてに密度のある真値アノテーションを備えた大規模な合成データセットを作成すること。
• 境界や困難な領域における精度向上に寄与する共同モデリングの有効性を評価すること。
• 予測されたモダリティ出力を知識蒸留のための教師ラベルとして使用した場合、真値ラベルを上回る性能を示すかを検討すること。

提案手法

• 2つのモダリティからの予測を用いて、教師ありの方法で畳み込みニューラルネットワークベースのリファインメントモジュールを訓練し、残りの1つのタスクをリファインメントする。
• 本手法は、RAW RGB入力からリファインメントネットワークを分離し、主にモダリティ間の特徴相互作用に焦点を当てる。
• 自然な景観（庭園、公園）の合成データセットを生成し、光学フロー、セマンティックセグメンテーション、表面法線の真値アノテーションを備えた。
• リファインメントネットワークは、2つの予測されたモダリティからの特徴を用いて、残りの1つのタスクをリファインメントし、各タスクに最適化された損失関数を用いる。
• 予測されたセグメンテーションのソフトラベル（平滑化されたソフトマックス）を用いて、知識蒸留を検討する。
• 実データ（VKITTI、Nature）と合成データの両方を用いて、データセットやモダリティの組み合わせにわたる性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 光学フロー、セマンティックセグメンテーション、表面法線は、予測精度の観点でどのようにお互いに影響を及ぼすか？
• RQ2 モジュラーなリファインメントネットワークは、他の2つのタスクの予測を用いて、1つのタスクを効果的に改善できるか？
• RQ3 予測されたモダリティ出力を、リファインメントのための教師ラベルとして使用した場合、真値ラベルを上回る性能を示すか？
• RQ4 共同モデリングは、境界精度と領域一貫性にどのような影響を及ぼすか？
• RQ5 予測されたソフトラベルからの知識蒸留は、リファインメント性能の向上にどの程度有効か？

主な発見

• 3つのモダリティを併用した場合が最も優れた性能を示し、VKITTI（2.39）およびNature（14.21）データセットにおいて、光学フローのリファインメントで平均終点誤差（EPE）が最小となった。
• 予測されたセグメンテーションと表面法線の両方を用いたリファインメントは、単独で用いた場合よりも、特にオクルージョン領域や境界領域で光学フロー誤差をより顕著に低減した。
• 表面法線のリファインメントは、セグメンテーションとフローの予測から著しく利益を受ける。ベースラインのMarrRevisited法は、両方の予測を用いてリファインメントされたことで、IoUが平均で48.13から64.39に向上した。
• 予測されたセグメンテーションのソフトラベルが、表面法線のリファインメントにおいて真値のワンホットラベルを上回る性能を示し、モデル予測からの有効な知識蒸留が可能であることを示唆した。
• 予測されたフローと法線を用いたセマンティックセグメンテーションのリファインメントは、滑らかな境界とノイズ低減をもたらしたが、不正確な予測からの誤差伝搬のためわずかな性能低下が見られた。
• 視覚的結果から、特に複雑な領域（空、木、歩道）における詳細回復が、共同リファインメントによって向上していることが確認され、Natureデータセットの困難な照明やテクスチャ条件下でも顕著であった。