[論文レビュー] Orientation-aware Semantic Segmentation on Icosahedron Spheres

Chao Zhang, Stephan Liwicki+2 more|arXiv (Cornell University)|Jul 30, 2019

Robotics and Sensor-Based Localization参考文献 27被引用数 7

ひとこと要約

本稿では、方向の一貫性を維持するための弧基準補間を用いた六角形畳み込みを用いて、イコサヘドロン球面上の方向に敏感なセマンティックセグメンテーションを提案する。特別に設計されたCNN演算子（パディング、プーリング、アップサンプリング、方向に敏感な畳み込み）を用いることで、球面幾何における有効な特徴学習を可能にし、最先端の性能を達成するとともに、最小限の微調整で平面U-Net重みを直接転送可能にする。

ABSTRACT

We address semantic segmentation on omnidirectional images, to leverage a holistic understanding of the surrounding scene for applications like autonomous driving systems. For the spherical domain, several methods recently adopt an icosahedron mesh, but systems are typically rotation invariant or require significant memory and parameters, thus enabling execution only at very low resolutions. In our work, we propose an orientation-aware CNN framework for the icosahedron mesh. Our representation allows for fast network operations, as our design simplifies to standard network operations of classical CNNs, but under consideration of north-aligned kernel convolutions for features on the sphere. We implement our representation and demonstrate its memory efficiency up-to a level-8 resolution mesh (equivalent to 640 x 1024 equirectangular images). Finally, since our kernels operate on the tangent of the sphere, standard feature weights, pretrained on perspective data, can be directly transferred with only small need for weight refinement. In our evaluation our orientation-aware CNN becomes a new state of the art for the recent 2D3DS dataset, and our Omni-SYNTHIA version of SYNTHIA. Rotation invariant classification and segmentation tasks are additionally presented for comparison to prior art.

研究の動機と目的

• イコサヘドラルメッシュ上での球面セマンティックセグメンテーションにおける方向の曖昧さの課題に対処するため、イコサヘドラルメッシュ上に方向に敏感な畳み込みを導入する。
• メッシュ成分間の幾何的整合性を保つために、特別な演算子を用いた球面CNNフレームワークを構築する。
• 完全な再トレーニングを伴わずに、事前学習済みの平面U-Net重みを球面ネットワークに直接転送できるようにする。
• 新規の球面U-Netアーキテクチャを用いて、2D3DSおよびOmni-SYNTHIAベンチマークで競争力あるセグメンテーション精度を達成する。
• メッシュトポロジーに合わせた六角形フィルターパattersを活用することで、球面表面における特徴表現を向上させる。

提案手法

• 弧基準補間を用いて、西、上、左、東、下、右の隣接ノードを統合することで、イコサヘドラルメッシュの成分間接続性を扱うパディング戦略を設計する。
• 2つの回転フィルターカーネル（W1およびW2）を用いた方向に敏感な六角形畳み込みを実装し、学習可能な重みA_iによる補間によって北方向整合性を維持する。
• 西パディングとストライド制御を用いて、メッシュ構造と成分間接続性を保つ球面プーリングおよびバイリニアアップサンプリング演算を定義する。
• 残差ユニット（ResBlocks）とポイントワイズ六角形畳み込みを用いたエンコーダ・デコーダブロックを備えたU-Netベースアーキテクチャ（HexUNet）を構築する。
• 弧基準補間重みA_iを用いて、局所的な方向に応じてフィルタ応答を動的に調整し、異なるメッシュ成分間で一貫した特徴学習を確保する。
• Adam最適化子を用いた交差エントロピーおよび重み付き交差エントロピー損失関数を用いて、複数の解像度レベルでイコサヘドラルメッシュ上で効率的なトレーニングを可能にする。

実験結果

リサーチクエスチョン

• RQ1 標準的な球面CNNと比較して、方向に敏感な畳み込みは球面表面におけるセマンティックセグメンテーション精度を向上させるか？
• RQ2 完全な再トレーニングを伴わず、事前学習済みの平面U-Net重みを球面ネットワークにどの程度転送できるか？
• RQ3 2D3DSおよびOmni-SYNTHIAなどのベンチマークデータセットにおいて、提案された球面CNNフレームワークは、さまざまな解像度レベルでどの程度の性能を示すか？
• RQ4 弧基準補間は、イコサヘドラルメッシュ成分間で特徴学習の方向的一致性を効果的に維持できるか？
• RQ5 アーキテクチャ設計の選択（例：残差ブロック、プーリング、アップサンプリング）は、セグメンテーション性能およびトレーニング効率にどのような影響を与えるか？

主な発見

• 転送された平面U-Net重みを用いて、解像度r=8で10エポックの微調整のみを経て、Omni-SYNTHIAで45.3%のmIoUを達成したHexUNet-Tモデルは、500エポックの完全トレーニングに近い性能に到達した。
• 解像度r=8で、Omni-SYNTHIAで47.1%のmIoUを達成し、ベースラインのUGSCNNを上回り、解像度に応じた優れたスケーラビリティを示した。
• 高解像度で小さな物体や境界を効果的にセグメンテーションでき、自転車（r=7およびr=8で歩行者として分類される）の分類精度が向上し、建物の誤分類が減少した。
• 2D3DSにおける定性的な結果では、同色の物体（例：窓 vs. ブックケース）や曖昧な境界を含む困難なケースで、UGSCNNを上回る性能を示した。
• 転送重みを用いた再トレーニング1エポック後で35.9%のmIoUを達成し、方向に敏感な設計による優れた一般化性能と効率性を示した。
• HexUNetの総パラメータ数は7,245,101であり、1枚の1080Ti GPUで解像度レベル8までトレーニングが可能で、計算効率が優れていることを示した。