[論文レビュー] Bird Species Classification using Transfer Learning with Multistage Training

Sourya Dipta Das, Akash Kumar|arXiv (Cornell University)|Oct 9, 2018

Animal Vocal Communication and Behavior被引用数 6

ひとこと要約

本論文では、マルチステージトレーニングを用いたトランスファーラーニングベースの手法を提案し、鳥種分類を実現する。マスクR-CNNを用いたオブジェクト局所化と、アンサンブル化されたInceptionネットワーク（InceptionV3およびInceptionResNetV2）を用いた微細な特徴抽出を統合している。本手法は、CVIP 2018ベンチマークデータセットにおいて55.67%のF1スコアを達成し、フル画像および局所化された鳥のROIに対して段階的なトレーニングとデータ拡張を施すことにより、顕著に精度が向上している。

ABSTRACT

Bird species classification has received more and more attention in the field of computer vision, for its promising applications in biology and environmental studies. Recognizing bird species is difficult due to the challenges of discriminative region localization and fine-grained feature learning. In this paper, we have introduced a Transfer learning based method with multistage training. We have used both Pre-Trained Mask-RCNN and an ensemble model consisting of Inception Nets (InceptionV3 & InceptionResNetV2 ) to get localization and species of the bird from the images respectively. Our final model achieves an F1 score of 0.5567 or 55.67 % on the dataset provided in CVIP 2018 Challenge.

研究の動機と目的

• 高解像度画像からの微細な鳥種分類の課題に取り組むこと。特に、限られた、かつ不均衡なトレーニングデータを前提とする。
• マスクR-CNNによるオブジェクト局所化と、事前学習済みInceptionネットワークからの深層特徴抽出を統合することで、分類精度を向上させること。
• データ拡張とフル画像および局所化された鳥領域におけるマルチステージトレーニングを用いて、クラスの不均衡と過学習を軽減すること。
• 自然な屋外環境における鳥の検出と分類を両立できるエンドツーエンドのシステムを開発すること。

提案手法

• COOの重みを事前学習済みとして用いたマスクR-CNNを採用し、画像内に存在する鳥を局所化し、領域-of-interest（ROI）の切り出しを実施した。
• マルチステージトレーニングを実施：まずフル解像度画像上でグローバルな空間的特徴を学習し、次にマスクR-CNNが生成した鳥のROIで微細な局所的特徴を学習した。
• ガウスノイズ、ぼかし、反転、コントラスト、トーン、加算、乗算、シャープネス、アフィン変換などのデータ拡張技術を適用し、トレーニングサンプルを増加させるとともに、過学習を低減した。
• InceptionV3およびInceptionResNetV2を用いたアンサンブルモデルを訓練し、最適なパフォーマンスを得るためにSwish活性化関数を選定した。
• 検出および分類の両ステージで、カテゴリークロスエントロピー損失関数とAdam最適化アルゴリズムを用いた。
• InceptionV3およびInceptionResNetV2の予測結果をアンサンブル平均化することで、最終的な分類パフォーマンスを向上させた。

実験結果

リサーチクエスチョン

• RQ1 フル画像に対するトレーニングに続いて、局所化されたROIでトレーニングを段階的に行うことで、微細な鳥種分類の精度が向上するか？
• RQ2 Inceptionアーキテクチャを用いたトランスファーラーニングは、小規模で不均衡なデータセットにおける鳥種認識にどの程度有効か？
• RQ3 データ拡張は、限られたトレーニングサンプルでの少サンプル分類において、過学習をどの程度軽減できるか？
• RQ4 背景の雑音や隠蔽がある状況下で、マスクR-CNNを用いた局所化は、特徴抽出の向上にどの程度寄与するか？

主な発見

• マスクR-CNNとInceptionV3・InceptionResNetV2を統合したアンサンブルモデルが、テストセットで最高のF1スコア55.67%を達成した。
• 元の画像とマスクR-CNNによる切り出し画像の両方で微調整されたInceptionResNetV2モデルは、検証F1スコア33.69%を達成し、一般化性能の向上を示した。
• マルチステージトレーニングにより、フル画像でのみトレーニングした場合（InceptionResNetV2で41.66%）と比較して、テストF1スコアが10.4ポイント向上した（49.09%に上昇）。
• アンサンブル手法を用いることで、精度56.58%、再現率54.8%を達成し、クラス全体にわたる頑健性が確認された。
• 改善は見られたが、10個未満のトレーニングサンプルを有するクラス（例：cmnmyn, gretit, rebimg）は、データ不足と視覚的類似性のため、性能が著しく低かった。
• 照明の変動や、小さなコントラストの低いROIは、特に微細特徴学習においてモデル性能を著しく低下させた。