[論文レビュー] Image Augmentation for Multitask Few-Shot Learning: Agricultural Domain Use-Case

Sergey Nesteruk, Dmitrii Shadrin+1 more|arXiv (Cornell University)|Feb 24, 2021

Advanced Neural Network Applications参考文献 31被引用数 10

ひとこと要約

本稿では、スケーリング、回転、ノイズ、背景ブレンドなどを含むさまざまな変換を組み合わせることで、少数の植物画像から多様な訓練シーンを合成するマルチタスク画像増強フレームワーク、MultiPartAugmentorを提案する。DeepLabV3を用いたセマンティックセグメンテーションの評価において、標準的な増強手法に比べてF1スコアが相対的に9%向上し、増強なしの状況に比べて12%向上した。

ABSTRACT

Large datasets' availability is catalyzing a rapid expansion of deep learning in general and computer vision in particular. At the same time, in many domains, a sufficient amount of training data is lacking, which may become an obstacle to the practical application of computer vision techniques. This paper challenges small and imbalanced datasets based on the example of a plant phenomics domain. We introduce an image augmentation framework, which enables us to extremely enlarge the number of training samples while providing the data for such tasks as object detection, semantic segmentation, instance segmentation, object counting, image denoising, and classification. We prove that our augmentation method increases model performance when only a few training samples are available. In our experiment, we use the DeepLabV3 model on semantic segmentation tasks with Arabidopsis and Nicotiana tabacum image dataset. The obtained result shows a 9% relative increase in model performance compared to the basic image augmentation techniques.

研究の動機と目的

• 農業コンピュータビジョン分野における限られた、不均衡で低品質な植物画像データセットの課題に対処すること。
• 大規模なアノテート済みデータセットの収集が費用と時間がかかるため、植物フェノミクス分野における効果的な少データ学習を可能にすること。
• 最小限の入力データから複数のビジョンタスク（セグメンテーション、検出、分類）をサポートする、効率的でリアルタイムの画像増強システムを開発すること。
• 意味的・構造的リアリズムを保ったまま、合成データを用いてモデルの汎化性能と性能を向上させること。

提案手法

• スケーリング、回転、ノイズ注入などのランダム変換を用いて、複数の植物オブジェクトを組み合わせることで合成シーンを生成するフレームワーク、MultiPartAugmentorを提案する。
• 縮小比（s）、方位係数（θ）、ランダムな背景選択といったパrameterを用いたオブジェクトレベルの増強を導入し、シーンの多様性を向上させる。
• 個々のオブジェクトに変換を適用した後、それらを合成してシーンを生成するパイプラインを採用し、自動的にバウンディングボックスとマスクを生成する。
• ベースライン比較のため、Albumentationsライブラリを用いてHorizontalFlip、VerticalFlip、ShiftScaleRotate、GridDistortionなどのデータ増強ルールを適用する。
• モデルの学習には、ResNet-101をバックボーンとするDeepLabV3を用い、ログィット付きのバイナリクロスエントロピー損失と、学習率スケジューリングを適用して一貫性のある評価を実現する。
• RAM制約内でリアルタイム生成を実現するため、M = 3n¯h¯w[(1+m)p + o + 2] + õ を用いてメモリ使用量を推定する。

実験結果

リサーチクエスチョン

• RQ1 合成画像増強フレームワークは、限られた植物画像データでの少データ学習シナリオにおいて、モデル性能を顕著に向上させることができるか？
• RQ2 セグメンテーション、検出、分類をサポートするマルチタスク増強は、標準的な増強手法と比較して、セグメンテーション精度においてどのように異なるか？
• RQ3 ランダム変換を用いたオブジェクトレベルの合成は、植物フェノミクス分野におけるモデルの汎化性能をどの程度向上させるか？
• RQ4 提案手法は、小規模で実世界の植物データセットにおけるセマンティックセグメンテーションタスクにおいて、標準的な増強手法および増強なしの状況を上回るか？

主な発見

• 提案された増強手法は、セマンティックセグメンテーションの評価において、IPPNデータセット上で標準的な増強手法に比べてF1スコアが相対的に9%向上した。
• 増強なしの状況に比べてF1スコアが相対的に12%向上したことが確認され、合成データによる顕著な性能向上が示された。
• 増強データで学習したモデルは、高い学習率（0.001）を用いてわずか20エポックで最適な性能に到達したため、収束が速いことが示された。
• フレームワークは、重なったオブジェクト、ノイズ、ぼかしなどの要素を含む多様で現実的なシーンを効果的に生成でき、最小限の入力サンプルからマルチタスク学習を可能にした。
• メモリ推定により、シーンの複雑さに比例して線形に増加するRAM使用量であることが判明し、リアルタイム環境でも実行可能であることが示された。