[論文レビュー] Automatic Counting and Identification of Train Wagons Based on Computer Vision and Deep Learning

Rayson Laroca, Alessander Cidral Boslooper+1 more|arXiv (Cornell University)|Oct 30, 2020

Vehicle License Plate Recognition被引用数 4

ひとこと要約

本論文では、フルHD動画を用いて自動的に列車のコンテナを数えたり識別したりする、低コストでディープラーニングベースのコンピュータビジョンシステムを提案している。本システムは、100%の正確な数え上げ精度と99.7%の認識率を達成し、11.6%の損傷のあるコードを自動で除外する。RFIDシステムに比べてコストが低く、低性能なハードウェアでも効率的に動作する。

ABSTRACT

In this work, we present a robust and efficient solution for counting and identifying train wagons using computer vision and deep learning. The proposed solution is cost-effective and can easily replace solutions based on radiofrequency identification (RFID), which are known to have high installation and maintenance costs. According to our experiments, our two-stage methodology achieves impressive results on real-world scenarios, i.e., 100% accuracy in the counting stage and 99.7% recognition rate in the identification one. Moreover, the system is able to automatically reject some of the train wagons successfully counted, as they have damaged identification codes. The results achieved were surprising considering that the proposed system requires low processing power (i.e., it can run in low-end setups) and that we used a relatively small number of images to train our Convolutional Neural Network (CNN) for character recognition. The proposed method is registered, under number BR512020000808-9, with the National Institute of Industrial Property (Brazil).

研究の動機と目的

• 設置および保守コストを削減する、RFIDベースのコンテナ追跡システムのコスト効果的な代替策を開発すること。
• 変動する照明、フォントスタイル、損傷のあるコード、カメラの角度による影響によって生じる、自動的なコンテナ数え上げと識別の課題に対処すること。
• 汚れ、腐食、波打つ表面に投影された低解像度のテキストなど、実世界の状況に強く対応できるシステムを構築すること。
• 正確性を損なわず、計算リソースを最小限に抑えることで、低性能なハードウェアへの展開を可能にすること。
• 読み取り不能または損傷のある識別コードを自動で検出し、除外することで、システムの信頼性を向上させること。

提案手法

• 2段階の手法：まず、フルHD動画フレーム内のコンテナ領域を局所化するため、YOLOv4-tinyを用いたオブジェクト検出。
• 次に、アルファヌメリックのコンテナコードのエンドツーエンドのシーンテキスト認識を目的としたカスタム畳み込みニューラルネットワーク（CNN）。
• データ拡張とトランスファーラーニングを活用し、14,935枚の画像という比較的小さなデータセットでも効果的に学習できるようにしている。
• OCR出力の長さとコーディング基準に基づき、損傷または読み取り不能なコードを持つコンテナを特定・除外する拒否メカニズムを導入。
• 複数のカメラからの結果をヒューリスティックルールを用いて統合し、マルチビュー環境での認識精度を向上。
• 高スペックGPU上で16 FPSの処理が可能であり、低コストの組み込みハードウェアでもリアルタイム展開が可能であることを示している。

実験結果

リサーチクエスチョン

• RQ1 実世界の屋外環境下で、コンピュータビジョンシステムが列車コンテナに対して100%の正確な数え上げ精度を達成できるか？
• RQ2 変動する照明、フォント、コード損傷の条件下でも、コンテナ識別にどの程度の認識精度が達成できるか？
• RQ3 限定的なデータセットで学習したディープラーニングモデルが、実世界のコンテナコードの変種にどの程度一般化できるか？
• RQ4 損傷または読み取り不能な識別コードを持つコンテナの自動拒否は、どの程度効果的か？
• RQ5 マルチカメラ統合は、複雑な状況下での認識精度を向上させるのにどの程度有効か？

主な発見

• 評価されたすべての動画において、100%の正確な数え上げ精度を達成し、列車編成内のすべてのコンテナを正しく特定・追跡した。
• 読み取り可能なコンテナコードの認識率は99.7%に達し、フォントスタイルの変動、色の違い、部分的遮断に対しても耐性を示した。
• 損傷または読み取り不能な識別コードを持つコンテナを11.6%自動で拒否し、データ品質の向上に寄与した。
• 高スペックGPU上で16フレーム/秒の処理が可能であり、低コストの組み込みハードウェアでもリアルタイム展開が可能であることを示した。
• マルチカメラ構成により、両側からの結果をヒューリスティック統合することで、認識エラーを8から2に削減した。
• 波打つコンテナ表面に投影された低解像度でノイズの多い、または傾いたテキストに対しても、本システムは耐性を示した。