[論文レビュー] Unsupervised Pixel-level Road Defect Detection via Adversarial Image-to-Frequency Transform

Jongmin Yu, Du Yong Kim+2 more|arXiv (Cornell University)|Jan 30, 2020

Infrastructure Maintenance and Monitoring参考文献 32被引用数 4

ひとこと要約

本稿では、欠陥ラベルを必要とせずに画像を周波数ドメインに変換するための敵対的学習を活用する教師なし手法であるAdversarial Image-to-Frequency Transform (AIFT) を提案する。通常の道路画像のみで訓練することで、複数のベンチマークデータセットにおいて最先端の性能を達成し、多くの場合で教師ありおよび教師なし手法を上回っている。GAPs384 では前人最高（SOTA）を3%上回り、Cracktree200 では8.8%の向上を達成した。

ABSTRACT

In the past few years, the performance of road defect detection has been remarkably improved thanks to advancements on various studies on computer vision and deep learning. Although a large-scale and well-annotated datasets enhance the performance of detecting road pavement defects to some extent, it is still challengeable to derive a model which can perform reliably for various road conditions in practice, because it is intractable to construct a dataset considering diverse road conditions and defect patterns. To end this, we propose an unsupervised approach to detecting road defects, using Adversarial Image-to-Frequency Transform (AIFT). AIFT adopts the unsupervised manner and adversarial learning in deriving the defect detection model, so AIFT does not need annotations for road pavement defects. We evaluate the efficiency of AIFT using GAPs384 dataset, Cracktree200 dataset, CRACK500 dataset, and CFD dataset. The experimental results demonstrate that the proposed approach detects various road detects, and it outperforms existing state-of-the-art approaches.

研究の動機と目的

• 監視付きモデルの汎化性能を阻害する、実世界の多様性に乏しい道路欠陊データセットの課題に対処すること。
• 未知のパターンに過学習するおそれがあるため、欠陊を検出できない可能性がある再構成ベースの教師なし手法の限界を克服すること。
• 敵対的学習を用いて、さまざまな条件下での多様な道路欠陊を、アノテーションフリーで効果的に検出する強固な手法を開発すること。
• 画像空間と周波数空間の間のドメイン変換を活用することで、教師なしの状況でもモデルの汎化性能を向上させ、欠陊の検出信頼性を向上させること。

提案手法

• 生成モデルを訓練して、敵対的学習を用いて通常の道路画像を周波数ドメインにマッピングする。生成器 G と2つの識別器（DI と DF）を用いる。
• 周波数→画像および画像→周波数の再構成が構造的整合性を保つように、サイクル整合性損失を実装する。
• 敵対的損失、サイクル整合性損失、知覚的損失を組み合わせた総合損失を用いて、生成器と識別器を同時に最適化する。
• 再構成不一致を測定することで欠陊を検出する：画像→周波数または周波数→画像のサイクルで高い誤差が生じる場合、潜在的な欠陊を示す。
• 再構成誤差マップにしきい値ベースの異常検出機構を適用し、ピクセルレベルのアノテーションを一切使用せずに欠陊を局所化する。
• 周波数ドメイン表現を活用して特徴の識別能を向上させ、照明や天候の変化に対してもモデルのロバスト性を高める。

Figure 1 : Architectural detail of the adversarial image-to-frequency transform. The blue objects denote the operation units including the generator $G$ and the discriminators $\mathcal{D}^{I}$ and $\mathcal{D}^{F}$ . The red circles indicate the loss functions corresponded to the each operation uni

実験結果

リサーチクエスチョン

• RQ1 画像-周波数ドメインにおける敵対的学習は、再構成ベースの手法を上回る教師なし道路欠陊検出を実現できるか？
• RQ2 画像空間と周波数空間の間のドメイン変換は、照明や天候の変化といった実世界の変動に対して、モデルのロバスト性を向上させられるか？
• RQ3 通常の道路画像のみで訓練されたモデルは、欠陊データのアノテーションが一切ない状況でも、多様な欠陊パターンを検出できるか？
• RQ4 複数のベンチマークにおいて、AIFT は最先端の教師ありおよび教師なし手法と比較して、異常検出性能で優れているか？
• RQ5 敵対的損失の使用により、純粋に再構成ベースの学習に比べて、検出の汎化性能が向上するか？

主な発見

• AIFT_total（総合損失で訓練）は、GAPs384 データセットで AIU 0.083、ODS 0.249、OIS 0.247 を達成し、当時最先端の FPHBN より ODS および OIS で3%の向上を示した。
• Cracktree200 データセットでは、AIFT_total が AIU 0.045、ODS 0.607、OIS 0.642 を達成し、以前の教師なし手法より8.8%の向上を示した。
• CFD データセットでは、AIFT_total が AIU 0.203、ODS 0.701、OIS 0.732 を達成し、既存の教師なしおよび教師ありベースラインと比較して優れた性能を示した。
• AIFT_total は、再構成ベースの AIFT（AIFT_re）をすべてのデータセットで上回り、敵対的学習が検出のロバスト性と汎化性能を向上させることを確認した。
• CRACK500 では FPHBN が AIU 0.489 で最高スコアを記録したが、AIFT_total でも AIU 0.478 を達成しており、アノテーションなしの学習データで強力な性能を示した。
• 図4の AIU のトレンドは、敵対的に訓練された AIFT モデルが再構成ベースのモデルよりも優れた汎化性能を示していることを確認しており、とくに微細またはレアな欠陊パターンの検出において顕著である。

Figure 2 : Structural details of the network models in the generator $G$ and the discriminators $\mathcal{D}^{I}$ and $\mathcal{D}^{F}$ . (a) and (b) denote the structural details of the generator $G$ and the two discriminators $\mathcal{D}^{I}$ and $\mathcal{D}^{F}$ , respectively. The green, blue,