[論文レビュー] Labeling Panoramas with Spherical Hourglass Networks

Carlos Esteves, Kostas Daniilidis+1 more|arXiv (Cornell University)|Sep 6, 2018

Advanced Vision and Imaging参考文献 2被引用数 3

ひとこと要約

本稿では、スペクトル領域における球面畳み込みを用いて、球面パノラマにおける密度的なセマンティックラベリングのための回転等変性を持つ深層学習モデル、Spherical Hourglass Network (SCHN) を提案する。アーチテクチャとしてアワーガラス型を採用し、SO(3)-等変性を持つ残差ボトルネックブロックを活用することで、任意のカメラ回転下でも、上向きの画像方向を必要とせず、標準的な2D CNN よりも優れた性能を達成する。

ABSTRACT

With the recent proliferation of consumer-grade 360° cameras, it is worth revisiting visual perception challenges with spherical cameras given the potential benefit of their global field of view. To this end we introduce a spherical convolutional hourglass network (SCHN) for the dense labeling on the sphere. The SCHN is invariant to camera orientation (lifting the usual requirement for `upright' panoramic images), and its design is scalable for larger practical datasets. Initial experiments show promising results on a spherical semantic segmentation task.

研究の動機と目的

• 球面パノラマ画像は一般的に2次元平面に投影される際に歪みが生じるため、その歪みを考慮した密度的なピクセル単位のラベリングの課題に対処すること。
• カメラの向きに依存しない深層学習モデルの開発により、3次元回転全般におけるデータオーグメンテーションの必要性を排除すること。
• 回転等変性を維持しつつ高解像度出力をサポートできる、スケーラブルで効率的な球面セマンティックセグメンテーションのアーキテクチャの設計。
• 球面トポロジーに起因する人工的な歪みを引き起こすため、標準的な2D CNN が等角投影に適用された場合に生じる制限を克服すること。

提案手法

• 球面調和関数とスペクトル領域演算に基づく球面畳み込み層を用い、SO(3)-等変性を保証する。
• 1×1、3×3、1×1畳み込みを組み合わせた球面残差ボトルネックブロックを採用し、計算コストを低減しながら性能を維持する。
• ダウンサンプリングとアップサンプリングブロックを備えたアワーガラス型アーキテクチャを採用し、高解像度の密度的予測を生成する。
• 局所化された球面フィルタの実現のため、少数の球面フーリエ係数アンカーを用いることで、局所的で滑らかで変形可能な受容 field を実現する。
• ラベル付き球面パノラマを用いた教師あり損失関数により学習を行うが、方向依存のデータオーグメンテーションは不要である。
• 比較のため、等角投影上に標準的な2D畳み込みを用いた2Dベースライン（2DHG）を採用する。

実験結果

リサーチクエスチョン

• RQ1 3次元回転全般に対してデータオーグメンテーションを一切行わず、球面パノラマ上での回転等変性セマンティックセグメンテーションを達成できる深層学習モデルは構築可能か？
• RQ2 任意のカメラ向き下での一般化性能を比較した場合、等角投影上に適用された標準的な2D CNN よりも、球面CNNに基づくアワーガラス型ネットワークはどのように優れているか？
• RQ3 球面ネットワークにおいて、グローバルフィルタと比較して、局所化されたフィルタを用いることで、セグメンテーション精度はどの程度向上するか？
• RQ4 球面残差ボトルネックブロックの設計は、球面上の密度的ラベリングタスクにおいて、計算コストを低減しつつも高い性能を維持できるか？

主な発見

• SCHNは、任意のカメラ向き下のテストデータでmIoU 0.5582を達成し、同じ条件下で2DHGベースライン（0.5292）を上回る性能を示した。
• 正規方向（canonical orientation）下では、SCHNはmIoU 0.5683を達成し、理想的な条件で学習されたモデルと比較しても優れた性能を示した。
• 未学習の向きに対しても一般化性能が高く、正規方向で学習し任意の向きでテストした場合のmIoUは0.5024に達し、回転に対して強い耐性を示した。
• より大きなモデルバージョン（SCHN/large）を用いることで性能が向上し、正規方向のテストデータでmIoU 0.5983を達成した。これはスケーラビリティを示している。
• 少数の球面フーリエアンカーを用いたフィルタの局所化は、グローバルフィルタよりも性能を向上させ、SCHN/globalではmIoU 0.5343、局所化フィルタを用いたSCHNでは0.5376を記録した。
• 提案アーキテクチャは、より困難な外挿挿タスクで0.330 mIoUを記録したIm2Pano3Dなど、先行研究を上回った。