[論文レビュー] Synthetic Image Augmentation for Damage Region Segmentation using Conditional GAN with Structure Edge

Takato Yasuno, Michihiro Nakajima+4 more|arXiv (Cornell University)|May 7, 2020

Industrial Vision Systems and Defect Detection被引用数 5

ひとこと要約

本稿では、橋梁点検における損傷領域のセグメンテーション性能を向上させるために、条件付きGANを用いた合成画像増強手法を提案する。三値分類ラベル（意味的セグメンテーション＋構造エッジ）を用いて、現実的で損傷画像を生成する。Sobel演算子を用いて構造エッジを強化し、208枚の実画像から抽出した840枚の224×224クロップ画像を用いて学習することで、FCN-8s、SegNet、DeepLabv3+Xception-v2の複数のモデルにおいて、稀な損傷領域の平均IoU、精度、再現率、F1スコアが向上し、損傷ピクセルの割合が0.6–1.5%にとどまる状況でも効果を発揮する。

ABSTRACT

Recently, social infrastructure is aging, and its predictive maintenance has become important issue. To monitor the state of infrastructures, bridge inspection is performed by human eye or bay drone. For diagnosis, primary damage region are recognized for repair targets. But, the degradation at worse level has rarely occurred, and the damage regions of interest are often narrow, so their ratio per image is extremely small pixel count, as experienced 0.6 to 1.5 percent. The both scarcity and imbalance property on the damage region of interest influences limited performance to detect damage. If additional data set of damaged images can be generated, it may enable to improve accuracy in damage region segmentation algorithm. We propose a synthetic augmentation procedure to generate damaged images using the image-to-image translation mapping from the tri-categorical label that consists the both semantic label and structure edge to the real damage image. We use the Sobel gradient operator to enhance structure edge. Actually, in case of bridge inspection, we apply the RC concrete structure with the number of 208 eye-inspection photos that rebar exposure have occurred, which are prepared 840 block images with size 224 by 224. We applied popular per-pixel segmentation algorithms such as the FCN-8s, SegNet, and DeepLabv3+Xception-v2. We demonstrates that re-training a data set added with synthetic augmentation procedure make higher accuracy based on indices the mean IoU, damage region of interest IoU, precision, recall, BF score when we predict test images.

研究の動機と目的

• 損傷ピクセルが画像ピクセル全体の0.6–1.5%にとどまるような極端なクラス不均衡問題に対処すること。
• 特に鉄筋露出のような希少な劣化タイプに特化した実損傷画像の不足を克服すること。
• 訓練データに現実的で損傷のある合成画像を追加することで、意味的セグメンテーションモデルの性能を向上させること。
• Sobel演算子を用いて構造エッジ情報を統合し、生成された損傷領域の幾何学的正確性を維持すること。
• 合成増強パイプラインを用いて、複数の最先端セグメンテーションネットワーク（FCN-8s、SegNet、DeepLabv3+Xception-v2）において一貫した性能向上を示すこと。

提案手法

• 三値分類ラベルマップ（意味的セグメンテーション＋Sobel処理済み構造エッジ）を入力として、実損傷画像への画像間変換を学習する条件付きGANを用いる。
• 入力ラベルマップの構造エッジをSobel勾配演算子で強化し、損傷局所化に不可欠な微細な詳細を保持する。
• 鉄筋露出を示す208枚の実橋梁点検画像から抽出した840枚の224×224ピクセルのパッチを用いてGANを学習する。
• 訓練済みの条件付きGANを用いて合成損傷画像を生成し、それらを元の訓練セットに追加する。
• 増強されたデータセット上で、標準的な意味的セグメンテーションモデル（FCN-8s、SegNet、DeepLabv3+Xception-v2）を微調整および評価する。
• 評価指標として、平均交差率（mIoU）、損傷領域特有のIoU、精度、再現率、F1スコアを用いる。

実験結果

リサーチクエスチョン

• RQ1 条件付きGANを用いた合成データ生成は、橋梁点検における希少損傷領域のセグメンテーション性能を向上させ得るか？
• RQ2 Sobel演算子による構造エッジ情報の統合は、生成画像の現実性と実用性を向上させるか？
• RQ3 合成増強は、低カバレッジ損傷領域（0.6–1.5%）におけるmIoUおよびF1スコアにどの程度向上効果をもたらすか？
• RQ4 異なるセグメンテーションアーキテクチャ（FCN-8s、SegNet、DeepLabv3+Xception-v2）は、本手法の増強からどの程度利益を得るか？
• RQ5 精度および再現率を含む複数の評価指標において、性能向上が一貫しているか？

主な発見

• 提案手法による合成増強は、評価対象のすべてのセグメンテーションモデルにおいて、平均交差率（mIoU）を顕著に向上させる。
• 増強データで微調整した後、損傷領域特有のIoUが向上し、希少損傷ピクセルの局所化精度が向上していることが示された。
• 精度、再現率、F1スコア（BFスコア）はいずれも測定可能な向上を示し、低カバレッジ損傷領域の検出能力が向上していることを確認した。
• 入力条件にSobel強化済み構造エッジを用いることで、より現実的で幾何学的に正確な損傷生成が可能になった。
• FCN-8s、SegNet、DeepLabv3+Xception-v2を含む複数のアーキテクチャにおいて、性能向上が一貫して得られた。
• 本手法は、実世界のインfra点検現場におけるデータ不足とクラス不均衡の影響を効果的に軽減できる。