[論文レビュー] The Direction-Aware, Learnable, Additive Kernels and the Adversarial Network for Deep Floor Plan Recognition

Yuli Zhang, Yeyang He+2 more|arXiv (Cornell University)|Jan 30, 2020

3D Surveying and Cultural Heritage参考文献 26被引用数 15

ひとこと要約

本稿では、不規則な形状の要素に対しても特に効果的であるように、方向に依存する学習可能で加法的なカーネルと、2つの識別器を備えた敵対的ネットワークを提案し、ディープなフロアプラン認識におけるセマンティックセグメンテーションの精度を向上させるとともに、ノイズを低減する。この手法はR2VおよびR3Dデータセットにおいて最先端の性能を達成し、全体の正確度が0.94、平均IoUが0.74に達し、DeepLabV3+ や DeepLabFloorplan といった先行手法を顕著に上回っている。

ABSTRACT

This paper presents a new approach for the recognition of elements in floor plan layouts. Besides of elements with common shapes, we aim to recognize elements with irregular shapes such as circular rooms and inclined walls. Furthermore, the reduction of noise in the semantic segmentation of the floor plan is on demand. To this end, we propose direction-aware, learnable, additive kernels in the application of both the context module and common convolutional blocks. We apply them for high performance of elements with both common and irregular shapes. Besides, an adversarial network with two discriminators is proposed to further improve the accuracy of the elements and to reduce the noise of the semantic segmentation. Experimental results demonstrate the superiority and effectiveness of the proposed network over the state-of-the-art methods.

研究の動機と目的

• 不規則な形状の部屋や境界を含む、フロアプラン要素のセマンティックセグメンテーションの正確度を向上させること。
• 壁、ドア、窓その他の構造的要素のピクセル単位の予測におけるノイズを低減すること。
• フロアプラン要素と部屋の境界の間の空間的関係をより効果的にモデル化すること。
• 一般的な要素に加え、円形の部屋や傾斜のある壁を含む不規則な形状の要素についても高精度な認識を可能にすること。
• 2次元フロアプランから自動的に3次元インテリアデザインおよび家具配置を生成することを支援すること。

提案手法

• 異なる空間的方向性に適応可能な方向に依存する学習可能で加法的なカーネルを提案し、畳み込みブロックおよびコンテキストモジュールの両方で適用する。
• これらのカーネルをバックボーンネットワークおよびコンテキストモジュールに統合し、不規則な形状の特徴学習を強化する。
• セグメンテーション出力を精緻化し、ピクセル単位の予測におけるノイズを低減するために、2つの識別器を備えた敵対的ネットワークを採用する。
• 複数のフロアプラン要素を同時に最適化できるマルチタスクで階層的なラベル付けバックボーンネットワークを採用する。
• 特に複雑で不規則な形状の幾何構造に対して、さらなるセグメンテーション品質の向上を図るために後処理を適用する。
• クラスバランスの取れた交差エントロピー損失と敵対的損失を用いて、R2VおよびR3Dデータセット上でモデルをエンドツーエンドで訓練する。

実験結果

リサーチクエスチョン

• RQ1 方向に依存する学習可能で加法的なカーネルは、円形の部屋や傾斜のある壁のような不規則な形状のフロアプラン要素のセグメンテーション正確度を向上させることができるか？
• RQ2 2つの識別器を備えた提案された敵対的学習は、ノイズ低減とピクセル単位のラベル正確度向上にどの程度効果的か？
• RQ3 畳み込みブロックおよびコンテキストモジュールの両方における学習可能カーネルの統合は、標準的なカーネルと比較して空間的関係のモデル化をどのように改善するか？
• RQ4 提案手法は、R2VおよびR3Dのようなベンチマークデータセットにおいて、DeepLabV3+ や PSPNet といった最先端のモデルをどの程度上回るか？
• RQ5 本手法は、自動3次元インテリアデザインや家具配置生成といった実際の産業応用に一般化可能か？

主な発見

• R2Vデータセットにおいて、提案手法は全体の正確度0.94、平均IoU 0.74を達成し、DeepLabV3+ (0.85/0.50) や DeepLabFloorplan (0.89/0.63) を上回っている。
• R3Dデータセットでは、全体の正確度0.94、平均IoU 0.75を達成し、PSPNet (0.84/0.50) や DeepLabV3+ (0.85/0.50) を上回っている。
• ネットワークは、特に円形や不規則な形状の部屋において、境界や壁構造のノイズが著しく低減されたクリアなセグメンテーションマップを生成している。
• 後処理を施さなくても、ベースラインモデルよりも高い正確度を達成しており、強固な特徴学習の能力を示している。
• 2つの識別器を備えた敵対的学習により、誤検出（偽陽性）が効果的に低減され、セグメンテーション出力の境界の一貫性が向上している。
• 本手法は、高品質な3次元再構成および自動家具配置を可能にし、10万件を超える産業用3次元インテリアデザインソリューションが導入されている。