[論文レビュー] Railway Anomaly detection model using synthetic defect images generated by CycleGAN

Takuro Hoshi, Yohei Baba+1 more|arXiv (Cornell University)|Feb 24, 2021

Infrastructure Maintenance and Monitoring参考文献 4被引用数 7

ひとこと要約

本論文では、CycleGANを用いて合成された欠陊画像を生成することで、実際の欠陊を示すレール画像の不足を補うレール欠陊検出モデルを提案する。実際の欠陊画像が少ない状況において、CycleGANで生成されたシェリング欠陊画像を訓練データに追加することで、希少な欠陊の検出精度が著しく向上し、テストデータでAUCが1.0に達した。視覚的注意マップとt-SNEの結果から、モデルの注目が欠陊領域に適切にシフトしていることが確認された。

ABSTRACT

Although training data is essential for machine learning, railway companies are facing difficulties in gathering adequate images of defective equipment due to their proactive replacement of would be defective equipment. Nevertheless, proactive replacement is indispensable for safe and undisturbed operation of public transport. In this research, we have developed a model using CycleGAN to generate artificial images of defective equipment instead of real images. By adopting these generated images as training data, we verified that these images are indistinguishable from real images and they play a vital role in enhancing the accuracy of the defect detection models.

研究の動機と目的

• 予防的設備交換のため、実際のレール欠陊画像が不足している問題に対処する。
• 特に訓練データに不足しているシェリング欠陊のような希少欠陊タイプの検出精度を向上させる。
• 実際のものと区別がつかないほどリアルな合成欠陊画像を生成するため、CycleGANを用いたデータ拡張戦略を開発する。
• 合成データを用いた微調整により、ResNetベースの欠陊検出モデルの性能を向上させる。
• CAMとt-SNEのような可視化技術を用いて、合成データの有効性を検証し、モデルの注目が欠陊領域にシフトしていることを確認する。

提案手法

• 実際の正常レール画像から欠陊画像への非対応画像変換を実現するため、CycleGANを用いて画像間変換を行う。
• 実際の正常および欠陊レール画像を用いてCycleGANモデルを学習させ、正常な外観から欠陊外観へのスタイル変換を学習する。
• 実際の未検出欠陊と類似度が高いと判断された70枚の高品質な合成シェリング欠陊画像を、1,000枚生成された画像の中から選別する。
• 実際の欠陊画像と合成欠陊画像を含む拡張済みデータセットを用いて、事前学習済みのResNetモデルを微調整する。
• クラス活性化マッピング（CAM）を用いて、データ拡張前後におけるモデルの注目領域を可視化する。
• 2048次元の特徴量の特徴空間クラスタリングをt-SNEで分析し、合成シェリング欠陊画像が実際の欠陊サンプルと密接にクラスタリングされていることを確認する。

実験結果

リサーチクエスチョン

• RQ1 CycleGANは、実際の欠陊画像と見分けがつかないような合成レール欠陊画像を生成できるか？
• RQ2 CycleGANで生成された合成欠陊画像を組み込むことで、シェリング欠陊のような希少欠陊タイプの検出精度が向上するか？
• RQ3 合成画像によるデータ拡張が、CAMで可視化されたモデルの注目メカニズムにどのように影響するか？
• RQ4 t-SNEのクラスタリング結果から、合成欠陊画像が欠陊検出モデルの学習済み特徴空間に効果的に統合されているか？
• RQ5 本手法は、レールの欠陊にとどまらず、他の鉄道機器タイプに対しても一般化可能か？

主な発見

• 人間の観察者にとって、CycleGANで生成された合成欠陊画像は実際の画像と区別がつかず、その現実性が裏付けられた。
• 70枚の合成シェリング欠陊画像を追加した後、欠陊検出モデルはテストデータでAUCが1.0に達した。これは、以前のAUC 0.993を上回った。
• クラス活性化マッピング（CAM）の結果から、データ拡張後、モデルの注目が非欠陊レール部から実際にシェリング欠陊領域にシフトしていることが示された。
• t-SNEの可視化結果から、合成シェリング欠陊画像が特徴空間において実際のシェリング欠陊画像と密接にクラスタリングされていることが確認され、有効な表現学習が行われていることが示された。
• データ拡張後、10個のシェリング欠陊テストサンプルすべてが正しく検出された。一方、以前はそのうち1つを逃していた。
• 本手法は、実際の欠陊データが限られている安全上の重要なシステムにおける欠陊検出精度向上に強く有望であることが示された。