[論文レビュー] Learning Attraction Field Representation for Robust Line Segment Detection

Nan Xue, Song Bai+4 more|arXiv (Cornell University)|Dec 5, 2018

Image and Object Detection Techniques被引用数 12

ひとこと要約

本論文は、領域分割と吸引力フィールドマップを用いて線分をモデル化することで、エンドツーエンドのディーブラーニングが可能な新規な吸引力フィールド表現を提案し、正確で効率的かつロバストな線分検出を実現する。この手法は最先端の性能を達成し、WireFrameデータセットにおいてFスコアを4.5%向上させ、6.6–10.4 FPSで実行される。

ABSTRACT

This paper presents a region-partition based attraction field dual representation for line segment maps, and thus poses the problem of line segment detection (LSD) as the region coloring problem. The latter is then addressed by learning deep convolutional neural networks (ConvNets) for accuracy, robustness and efficiency. For a 2D line segment map, our dual representation consists of three components: (i) A region-partition map in which every pixel is assigned to one and only one line segment; (ii) An attraction field map in which every pixel in a partition region is encoded by its 2D projection vector w.r.t. the associated line segment; and (iii) A squeeze module which squashes the attraction field to a line segment map that almost perfectly recovers the input one. By leveraging the duality, we learn ConvNets to compute the attraction field maps for raw in-put images, followed by the squeeze module for LSD, in an end-to-end manner. Our method rigorously addresses several challenges in LSD such as local ambiguity and class imbalance. Our method also harnesses the best practices developed in ConvNets based semantic segmentation methods such as the encoder-decoder architecture and the a-trous convolution. In experiments, our method is tested on the WireFrame dataset and the YorkUrban dataset with state-of-the-art performance obtained. Especially, we advance the performance by 4.5 percents on the WireFrame dataset. Our method is also fast with 6.6~10.4 FPS, outperforming most of existing line segment detectors.

研究の動機と目的

• 局所的な曖昧さやクラスの不均衡といった線分検出の課題に対処すること。
• 二重表現を用いて線分検出を領域色分け問題に再定式化すること。
• 正確で効率的なエンドツーエンドのディープラーニングフレームワークを構築すること。
• エンコーダ・デコーダアーキテクチャやアトラス畳み込みなどの既存のセマンティックセグメンテーション技術を活用して性能を向上させること。
• 実世界のデータセットにおいて、ロバストで高精度な線分検出を達成すること。

提案手法

• 本手法は二重表現を導入する：各ピクセルを1つの線分に割り当てる領域分割マップと、各ピクセルの割り当てられた線分からの2次元ベクトルを符号化する吸引力フィールドマップ。
• アテンションベースのスイーブモジュールが吸引力フィールドを正確な線分マップに圧縮し、エンドツーエンド学習を可能にする。
• アトラス畳み込みを用いた深層エンコーダ・デコーダ畳み込みニューラルネットワークが、入力画像から直接吸引力フィールドマップを学習する。
• 空間的詳細を保持するため、セマンティックセグメンテーションの原則（スキップ接続や拡張畳み込み）を統合する。
• モデルはエンドツーエンドで吸引力フィールドを予測し、その後スイーブモジュールを経て最終的な線分マップを生成する。
• ベクトル場を通じた幾何的関係の明示的モデリングにより、ノイズや変動に対してロバストである。

実験結果

リサーチクエスチョン

• RQ1 学習された吸引力フィールド表現は、厳しい条件下でも線分検出のロバスト性と正確性を向上させることができるか？
• RQ2 領域分割と吸引力フィールドの二重表現は、従来手法と比較して検出性能をどのように向上させるか？
• RQ3 スイーブモジュールを用いたエンドツーエンドのディープラーニングは、入力画像から真値の線分マップをどれほど正確に回復できるか？
• RQ4 アトラス畳み込みやスキップ接続といったセマンティックセグメンテーション技術の統合は、線分検出性能を向上させるか？
• RQ5 提案手法は、線分検出における局所的な曖昧さとクラスの不均衡をどのように処理するか？

主な発見

• 本手法は、従来の最先端手法と比較して、WireFrameデータセットでFスコアを4.5%向上させた。
• モデルは6.6～10.4フレーム／秒で実行され、高い推論効率を示した。
• 吸引力フィールド表現は、各ピクセルごとの幾何的関係を符号化することで、局所的な曖昧さを効果的に低減した。
• スイーブモジュールにより、学習された吸引力フィールドから入力線分マップのほぼ完全な回復が可能になった。
• アトラス畳み込みとエンコーダ・デコーダアーキテクチャの統合により、特徴表現と検出精度が顕著に向上した。
• WireFrameおよびYorkUrbanデータセットでの検証により、実世界のシーンに対しても良好な汎化性能を示した。