[論文レビュー] Robust Pollen Imagery Classification with Generative Modeling and Mixup Training

Jaideep Vitthal Murkute|arXiv (Cornell University)|Feb 25, 2021

Allergic Rhinitis and Sensitization参考文献 9被引用数 4

ひとこと要約

本稿では、変分自己オートエンコーダ（VAE）に基づく生成モデリング、マニフォールドミックスアップ訓練、およびEfficientNetバックボーンを組み合わせることで、花粉粒画像分類のための頑健なディープラーニングフレームワークを提案する。このアプローチは、教師ありおよび教師なし学習の統合、データ拡張、モデルアンサンブルを通じて一般化性能を向上させ、ICPR-2020コンテストで重み付きF1スコア0.972578を達成し、全体で4位となった。

ABSTRACT

Deep learning approaches have shown great success in image classification tasks and can aid greatly towards the fast and reliable classification of pollen grain aerial imagery. However, often-times deep learning methods in the setting of natural images can suffer generalization problems and yield poor performance on unseen test distribution. In this work, we present and a robust deep learning framework that can generalize well for pollen grain aerobiological imagery classification. We develop a convolutional neural network-based pollen grain classification approach and combine some of the best practices in deep learning for better generalization. In addition to commonplace approaches like data-augmentation and weight regularization, we utilize implicit regularization methods like manifold mixup to allow learning of smoother decision boundaries. We also make use of proven state-of-the-art architectural choices like EfficientNet convolutional neural networks. Inspired by the success of generative modeling with variational autoencoders, we train models with a richer learning objective which can allow the model to focus on the relevant parts of the image. Finally, we create an ensemble of neural networks, for the robustness of the test set predictions. Based on our experiments, we show improved generalization performance as measured with a weighted F1-score with the aforementioned approaches. The proposed approach earned a fourth-place in the final rankings in the ICPR-2020 Pollen Grain Classification Challenge; with a 0.972578 weighted F1 score,0.950828 macro average F1 scores, and 0.972877 recognition accuracy.

研究の動機と目的

• 分布シフトやクラス不均衡の下で、花粉粒画像分類のためのディープラーニングモデルにおける一般化失敗を是正すること。
• 変分自己オートエンコーダ（VAE）による非教師あり分離特徴学習を統合することで、モデルの頑健性を向上させること。
• マニフォールドミックスアップ訓練を用いて、意思決定境界の滑らかさと一般化性能を向上させること。
• アーキテクチャ的および訓練手法の革新を通じて、ICPR-2020花粉粒分類コンテストで最先端の性能を達成すること。

提案手法

• エンコーダが特徴を抽出し、潜在コードを生成し、デコーダが花粉粒パッチを再構築するVAEベースのフレームワークを訓練し、関連する画像領域に注目するようにする。
• 再構築損失（MSE）と事後分布と事前分布のKLダイバージェンスを組み合わせた、下界の下界（ELBO）目的関数を用いてVAEを最適化する。
• ネットワークのランダムな層で特徴を補間するマニフォールドミックスアップを適用し、ハイパーパrameter α = 0.5 または 1.0 を用いて、より滑らかな意思決定境界を促進する。
• データ拡張パイプラインとして、ランダムな回転、ズーム、反転、クロップ変換を適用し、ImageNet正規化を実施する。
• 異なるミックスアップ設定およびアーキテクチャを用いて訓練された、4つのモデル（2つのEfficientNet-B3と2つのEfficientNet-B4）のアンサンブルを採用し、最終的な予測を平均化する。
• 2段階の微調整戦略を採用：まずエンコーダを固定して分類器とデコーダを訓練し、その後すべての層をアンフリークして共同最適化を実行する。

実験結果

リサーチクエスチョン

• RQ1 VAEに基づく生成モデリングとミックスアップを組み合わせることで、花粉粒画像分類における一般化性能が向上するか？
• RQ2 非教師ありVAE学習の統合は、ラベル付きデータが限られた下流分類タスクにおける性能にどのように影響するか？
• RQ3 異なるα値を用いたマニフォールドミックスアップは、花粉分類においてより頑健で滑らかな意思決定境界をもたらすか？
• RQ4 EfficientNet-B3/B4などのアーキテクチャ的選択およびデータ拡張は、一般化性能の向上にどの程度寄与するか？
• RQ5 モデルアンサンブルは、個々のモデルの性能を上回る予測の安定性と一般化性能をさらに向上させることができるか？

主な発見

• 提案手法は、ICPR-2020花粉粒分類コンテストのテストセットで重み付きF1スコア0.972578を達成し、4位となった。
• 4つのVAEベースのモデルのアンサンブルは、テスト精度0.972877およびマクロF1スコア0.950828を達成した。
• ミックスアップ（α = 0.5 または 1.0）とVAE再構築を用いて訓練されたモデルは、ベースラインのEfficientNetモデルに比べて一貫した向上を示し、最高の個別モデル（EffNet-B4 VAE, α=0.5）では重み付きF1スコア0.96909を達成した。
• VAE部は、明示的なセグメンテーションがなくても、特徴の分離性を向上させ、関連する画像領域へのモデルの注目を強化した。
• エンコーダを最初に固定する2段階の訓練戦略により、収束性が向上し、一般化性能が改善された。
• アブレーションスタディの結果、花粉粒の明示的セグメンテーションは有益ではなかった。現代のCNNは、データ拡張とドロップアウトにより、背景の変動を十分に処理できるためである。