[論文レビュー] Data Augmentation of Railway Images for Track Inspection

S Ritika, Dattaraj Rao|arXiv (Cornell University)|Feb 5, 2018

Infrastructure Maintenance and Monitoring参考文献 1被引用数 10

ひとこと要約

本稿では、レールのトラック点検における希少な欠険（太陽ひずみおよび植生の過剰成長）のシミュレート画像を用いたデータ拡張パイプラインを提案する。合成学習データ上で微調整されたInception V3モデルを用いることで、太陽ひずみ欠険の分類において97.5%の精度を達成し、分布シフトにもかかわらず実際の植生画像に対しても良好な一般化性能を示した。

ABSTRACT

Regular maintenance of all the assets is pivotal for proper functioning of railway. Manual maintenance can be very cumbersome and leave room for errors. Track anomalies like vegetation overgrowth, sun kinks affect the track construct and result in unequal load transfer, imbalanced lateral forces on tracks which causes further deterioration of tracks and can ultimately result in derailment of locomotive. Hence there is a need to continuously monitor rail track health. Track anomalies are rare with the skew as high as one anomaly in millions of good images. We propose a method to build training data that will make our algorithms more robust and help us detect real world track issues. The data augmentation will have a direct effect in making us detect better anomalies and hence improve time for railroads that is spent in manual inspection. This paper talks about a real world use case of detecting railway track defects from a camera mounted on a moving locomotive and tracking their locations. The camera is engineered to withstand the environment factors on a moving train and provide a consistent steady image at around 30 frames per second. An image simulation pipeline of track detection, region of interest selection, augmenting image for anomalies is implemented. Training images are simulated for sun kink and vegetation overgrowth. Inception V3 model pretrained on Imagenet dataset is finetuned for a 2 class classification. For the case of vegetation overgrowth, the model generalizes well on actual vegetation images, though it was trained and validated solely on simulated images which might have different distribution than the actual vegetation. Sun kink classifier can classify professionally simulated sun kink videos with a precision of 97.5%.

研究の動機と目的

• 鉄道保守における希少なトラック欠険（100万枚の画像に1件程度の頻度で発生）に対処する。
• 高コストで誤りの多い手動点検に依存するのを減らし、トラック欠険の自動検出を可能にする。
• 太陽ひずみや植生の過剰成長のような現実的なトラック欠険をシミュレートするデータ拡張パイプラインを開発する。
• 実世界のテスト画像に対して効果的に一般化できるように、合成データ上で深層学習モデルを訓練する。
• 合成データ生成とトランスファーラーニングを用いて、希少欠険の検出のロバスト性を向上させる。

提案手法

• 移動する機関車に搭載されたカメラシステムが、実環境の条件下で約30 fpsの一定した速度で画像を撮影する。
• 画像シミュレーションパイプラインにより、実際のレール画像に太陽ひずみおよび植生の過剰成長欠険をシミュレートして合成学習データを生成する。
• ImageNetで事前学習済みのInception V3モデルを、合成画像のみを用いて二値分類のための微調整に用いる。
• トレーニングおよび推論中に関連するレールセグメントに焦点を当てるために、関心領域（ROI）選択が適用される。
• モデルの一般化性能を向上させるために、現実的なテクスチャおよび照明の変動が拡張プロセスに組み込まれる。
• 太陽ひずみ欠険のプロフェッショナルなシミュレーション動画と実際の植生画像を用いて、パイプラインを検証した。

実験結果

リサーチクエスチョン

• RQ1 合成データ拡張は、希少なレールトラック欠陥を検出できる深層学習モデルを有効に訓練できるか？
• RQ2 合成データ上で微調整されたモデルは、実世界の植生過剰成長画像に対し、どの程度一般化できるか？
• RQ3 合成学習データのみを用いて、太陽ひずみ欠陥の検出でどの程度の精度が達成できるか？
• RQ4 データ拡張は、点検において一般的な低データ環境下でのモデルのロバスト性を向上させるか？
• RQ5 Inception V3を用いたトランスファーラーニングアプローチは、限られた実際の欠陥データでも高い性能を達成できるか？

主な発見

• 専門的な太陽ひずみシミュレーション動画を用いたテストで、太陽ひずみ分類器は97.5%の精度を達成した。
• 合成された植生過剰成長画像のみで学習したモデルは、実世界の植生画像に対しても良好に一般化した。これは、効果的なデータ拡張を示している。
• 実際の異常発生頻度が極めて低いにもかかわらず、合成データの使用がモデルのロバスト性を顕著に向上させた。
• 合成データ上でInception V3モデルを微調整することで、希少欠陥検出タスクで優れた性能が得られた。
• 画像シミュレーションパイプラインは、下流分類の性能を向上させるために、現実的な欠陥表現を効果的に生成した。
• 本アプローチにより、大規模な実際の欠陥データセットへの依存が軽減され、鉄道点検システムへの迅速な導入が可能になった。