[論文レビュー] Window Detection In Facade Imagery: A Deep Learning Approach Using Mask R-CNN

Nils Nordmark, Mola Ayenew|arXiv (Cornell University)|Jul 21, 2021

Automated Road and Building Extraction参考文献 25被引用数 6

ひとこと要約

本論文は、新規にアノテートされたデータセットを用いて、転移学習とデータ拡張を活用し、ストリートビューファサード画像におけるインスタンスレベルの窓検出のためのマスクR-CNNベースの深層学習手法を提案する。この手法は、eTRIMSデータセット上で、後処理最適化を必要とせず、SOTAの性能を達成し、mAP（94.76%）とピクセル精度（94.55%）を達成した。また、窓フレームに焦点を当てた正確な窓境界アノテーションを導入した。

ABSTRACT

The parsing of windows in building facades is a long-desired but challenging task in computer vision. It is crucial to urban analysis, semantic reconstruction, lifecycle analysis, digital twins, and scene parsing amongst other building-related tasks that require high-quality semantic data. This article investigates the usage of the mask R-CNN framework to be used for window detection of facade imagery input. We utilize transfer learning to train our proposed method on COCO weights with our own collected dataset of street view images of facades to produce instance segmentations of our new window class. Experimental results show that our suggested approach with a relatively small dataset trains the network only with transfer learning and augmentation achieves results on par with prior state-of-the-art window detection approaches, even without post-optimization techniques.

研究の動機と目的

• 複雑で現実世界のファサード画像における正確なインスタンスレベルの窓検出の課題に対処すること。
• 個々の窓に対してバウンディングボックスとセグメンテーションマスクを生成できる深層学習フレームワークの開発。
• 比較的小さな高品質なデータセットを用いて、転移学習とデータ拡張を活用した頑健なモデルの訓練。
• 一貫性のあるフレームベースのアノテーション方式を導入することで、窓検出の新しいベンチマークを確立すること。
• 今後のファサード解析やデジタルツイン応用分野の研究を支援するため、無料で利用可能な正確なデータセットリソースを提供すること。

提案手法

• ファサード画像における窓検出のためのエンドツーエンドのインスタンスセグメンテーションモデルとして、マスクR-CNNフレームワークを採用する。
• カスタムのストリートビューファサード画像データセット上で、COCOで事前学習された重みを用いた転移学習により、モデルをファインチューニングする。
• 限られた訓練データで一般化性能を向上させるために、水平反転（fliplr）を含むデータ拡張技術を適用する。
• 窓の内容ではなく物理的な窓フレームに基づいて窓境界をアノテートすることで、アノテーションの一貫性を向上させる。
• Google Colab上でTesla K80 GPUを用いて、60種類以上のモデル設定を訓練・評価し、最適なハイパーパramータを同定する。
• ホールドアウトされたテストセット上で、主にmAPとピクセル精度を評価指標として用いる。

実験結果

リサーチクエスチョン

• RQ1 転移学習とデータ拡張のみを用いて、比較的小さな実世界のファサードデータセットでマスクR-CNNが競争力のある窓検出性能を達成できるか？
• RQ2 従来の窓の内容に基づくセグメンテーションと比較して、フレームベースの窓アノテーションはモデル性能にどのように影響するか？
• RQ3 バウンディングボックスとマスクを併用するインスタンスセグメンテーションは、ファサード解析タスクにおいて、セマンティックセグメンテーションをどのように上回るか？
• RQ4 本手法は、後処理最適化技術を必要とせずに、先行研究のSOTA手法を上回る性能を示せるか？
• RQ5 正確にアノテートされた、小規模なデータセットは、より大規模で複雑なデータセットと同等の性能を達成できるか？

主な発見

• 提案手法は、テストセット上で平均平均精度（mAP）が94.76%を達成し、後処理最適化を必要とせず、先行SOTA手法を上回った。
• テストセットにおける窓クラスのピクセル精度は94.55%に達し、ピクセル単位での検出信頼性が非常に高いことを示した。
• 1つの設定で91.93%のピクセル精度を達成し、最良のモデルでは94.76%に到達した。これは、強力な一般化性能を示している。
• 転移学習とデータ拡張の活用により、比較的小さな訓練データセットでも高い性能が達成された。
• フレームベースのアノテーション方式により、一貫性があり正確なモデル学習が可能となり、窓境界の曖昧さが低減された。
• 複雑で非正規化されたストリートビューアイメージでさえ、正確なバウンディングボックスとセグメンテーションマスクを用いて個々の窓インスタンスを効果的に検出できた。