[論文レビュー] Facade Segmentation in the Wild

John Femiani, Wamiq Reyaz Para+2 more|arXiv (Cornell University)|May 9, 2018

Remote-Sensing Image Classification被引用数 16

ひとこと要約

本論文は、困難な「野生の」パノラマ画像における都市のファサードのマルチラベルセマンティックセグメンテーションのための、3つの新しい深層学習アーキテクチャ—MultiFacSegnet、Separable、およびCompatibilityネットワーク—を提案する。重複するラベルをモデル化し、分離可能なフィルタを用いて幾何的プリオンを活用し、反復的な確率の最適化によってクラス間の一貫性を実現することで、最先端の性能を達成し、ベンチマークデータセット上で窓セグメンテーションのF1スコアを0.91から0.97に向上させた。

ABSTRACT

Urban facade segmentation from automatically acquired imagery, in contrast to traditional image segmentation, poses several unique challenges. 360-degree photospheres captured from vehicles are an effective way to capture a large number of images, but this data presents difficult-to-model warping and stitching artifacts. In addition, each pixel can belong to multiple facade elements, and different facade elements (e.g., window, balcony, sill, etc.) are correlated and vary wildly in their characteristics. In this paper, we propose three network architectures of varying complexity to achieve multilabel semantic segmentation of facade images while exploiting their unique characteristics. Specifically, we propose a MULTIFACSEGNET architecture to assign multiple labels to each pixel, a SEPARABLE architecture as a low-rank formulation that encourages extraction of rectangular elements, and a COMPATIBILITY network that simultaneously seeks segmentation across facade element types allowing the network to 'see' intermediate output probabilities of the various facade element classes. Our results on benchmark datasets show significant improvements over existing facade segmentation approaches for the typical facade elements. For example, on one commonly used dataset, the accuracy scores for window(the most important architectural element) increases from 0.91 to 0.97 percent compared to the best competing method, and comparable improvements on other element types.

研究の動機と目的

• ステッチアーチファクト、歪み、複雑なオブジェクトの重なりを含む「野生の」ファサード画像におけるセマンティックセグメンテーションの課題に対処すること。
• 1つのピクセルが複数の建築的要素（例：窓とバルコニー）に属する可能性がある、ピクセル単位のマルチラベル予測を可能にすること。
• 長方形性や整列性といった幾何的・構造的プリオンを活用して、小径や不規則なファサード要素（例：サッシや柱）の検出を向上させること。
• ストリートレベルのパノラマや事前補正済み画像を含む多様なデータソースに一般化可能な、スケーラブルでエンドツーエンドの深層学習フレームワークを開発すること。
• 逆プロシージャルモデリングなどの後続応用を支援するため、特に窓の対象ベースのリCALLおよびF1スコアを向上させること。

提案手法

• 各ピクセルに複数のラベルを同時に割り当てることを可能にするマルチラベルセグメンテーションヘッド「MultiFacSegnet」を提案し、重複するファサード要素を捉える。
• 低ランクの畳み込みフィルタを用いた分離可能（separable）アーキテクチャを導入し、窓やバルコニーのような長方形で構造的なファサード部品の検出を促進する。
• 異なるファサード要素クラス間の途中出力を利用し、反復的な確率の最適化によって分類結果のクラス間一貫性を向上させる「コンパチビリティネットワーク」を設計する。
• ラベルスムージングと反復的最適化を適用し、特にノイズや歪みの強い領域において、予測の信頼性と空間的一致性を向上させる。
• 実世界の条件に耐性のある一般化を可能にするために、ラベル付け済みストリートレベルのフォトスフィアから構成される新しい大規模データセットを用いて学習および評価する。
• 境界検出と構造的一致性を向上させるために、修正されたSegnetバックボーンにエッジおよび重複ラベルの監視を追加する。

実験結果

リサーチクエスチョン

• RQ1 重複ラベルを許容するマルチラベルセグメンテーションは、実世界のパノラマ画像におけるファサード要素検出の精度を顕著に向上させることができるか？
• RQ2 分離可能な畳み込みフィルタは、歪みのあるファサード画像における窓やバルコニーなどの長方形建築要素の検出にどの程度寄与するか？
• RQ3 反復的な確率の最適化（コンパチビリティネットワーク）によるクラス間一貫性の向上は、独立したクラスごとの予測よりも優れたセグメンテーション性能をもたらすか？
• RQ4 本手法は、サッシや柱のような細いまたは不規則なファサード要素について、対象ベースの指標（例：リCALLおよびF1）でどの程度の性能を示すか？
• RQ5 本モデルは、深刻なアーチファクトやごみが多く混在するストリートビューのパノラマを含む、未知のデータ分布に対しても効果的に一般化できるか？

主な発見

• 提案手法はCMPデータセットで窓のF1スコア0.97を達成し、以前の最先端手法（0.91）を著しく上回った。
• eTRIMSデータセットでは、eTRIMSデータを学習に使用せず、異なるデータ分布で学習しているにもかかわらず、他の深層学習ベースの手法を上回った。
• Separableアーキテクチャは、ECPデータセットの大多数の要素で最高の精度を達成し、既存の手法を上回るピクセル単位のセグメンテーション性能を示した。
• コンパチビリティバリアントはピクセル単位のF1スコアを向上させたが、対象ベースのリCALLおよびF1はわずかに低下しており、ピクセルレベルと対象レベルの性能のトレードオフが示された。
• 本手法は、ブローミング、ステッチエラー、遮蔽などの実世界のアーチファクトに対しても頑健であり、野生のパノラマ画像でも高い性能を維持した。
• エッジおよび重複ラベルの監視の追加により、複雑なファサードシーンにおける境界検出と構造的一致性が顕著に向上した。