[論文レビュー] OnlineAugment: Online Data Augmentation with Less Domain Knowledge

Zhiqiang Tang, Yunhe Gao+4 more|ArXiv.org|Jul 17, 2020

Domain Adaptation and Few-Shot Learning参考文献 43被引用数 4

ひとこと要約

OnlineAugment は、トレーニング中に適応的でドメインに依存しない増幅を生成するオンラインでメタラーニングされたデータ増幅フレームワークを提案する。従来のオフライン手法とは異なり、モデルの状態に応じて動的に増幅を調整する。その結果、AutoAugment と同等の性能を達成し、オフラインポリシーと組み合わせることで最先端の結果をさらに向上させた。

ABSTRACT

Data augmentation is one of the most important tools in training modern deep neural networks. Recently, great advances have been made in searching for optimal augmentation policies in the image classification domain. However, two key points related to data augmentation remain uncovered by the current methods. First is that most if not all modern augmentation search methods are offline and learning policies are isolated from their usage. The learned policies are mostly constant throughout the training process and are not adapted to the current training model state. Second, the policies rely on class-preserving image processing functions. Hence applying current offline methods to new tasks may require domain knowledge to specify such kind of operations. In this work, we offer an orthogonal online data augmentation scheme together with three new augmentation networks, co-trained with the target learning task. It is both more efficient, in the sense that it does not require expensive offline training when entering a new domain, and more adaptive as it adapts to the learner state. Our augmentation networks require less domain knowledge and are easily applicable to new tasks. Extensive experiments demonstrate that the proposed scheme alone performs on par with the state-of-the-art offline data augmentation methods, as well as improving upon the state-of-the-art in combination with those methods. Code is available at https://github.com/zhiqiangdon/online-augment .

研究の動機と目的

• 固定された手作業で設計されたポリシーに依存し、高価な事前トレーニングや探索を必要とするオフラインデータ増幅の限界を克服する。
• 従来の画像処理操作の代わりに学習可能なニューラルネットワークを用いることで、ドメイン固有の知識への依存を低減する。
• トレーニング全体を通じて学習モデルの現在の状態に応じてデータ増幅をオンラインで適応可能にし、一般化性能と効率性を向上させる。
• 既存のオフライン手法と直交する統合フレームワークを構築し、併用することでさらなる性能向上を可能にする。
• 画像分類を越えて、医療画像セグメンテーションへの応用を通じて、一般化性能を示し、挑戦的なデータセットでもより高いロバスト性を実現する。

提案手法

• アフィン空間変換ネットワーク（A-STN）、変形変分オートエンコーダ（D-VAE）、摂動変分オートエンコーダ（P-VAE）の3つの学習可能な増幅ネットワークを導入し、事前に定義された画像操作に依存せずに多様な増幅を生成する。
• メタラーニングの目的関数を用いて、増幅ネットワークとターゲットモデルをエンドツーエンドで同時に学習させ、トレーニングステップ全体にわたる一般化を促進する。
• 増幅ネットワークに対して adversarial training を適用し、過学習を防ぎ、生成された増幅のロバスト性を向上させる。
• タスク固有の正則化損失を用いて、増幅ネットワークが意味のある、クラスを保持する変換を学習できるように誘導する。
• メタラーニングと adversarial training を統合し、増幅ネットワークが現在のモデル状態に応じて変換の大きさを動的に調整できるようにする。
• 主なトレーニングループ内ですべての増幅ネットワークをリアルタイムでトレーニングし、別個のオフラインポリシー探索や事前トレーニングの必要性を排除する。

実験結果

リサーチクエスチョン

• RQ1 オンラインで適応的なデータ増幅は、画像分類タスクにおいて、AutoAugment などの最先端のオフライン増幅ポリシーを上回るか、補完的であるか。
• RQ2 学習可能な増幅ネットワークは、データ増幅操作を設計するにあたり、ドメイン固有の知識の必要性をどの程度低減できるか。
• RQ3 メタラーニングと adversarial training の統合は、オンラインデータ増幅の一般化性能とロバスト性をどのように向上させるか。
• RQ4 オンラインデータ増幅は、分類タスクを超えて、医療画像セグメンテーションのような非分類タスクにも効果的に適用可能か。
• RQ5 トレーニング中に増幅の大きさを動的に適応させることで、モデルの収束性と性能が向上するか。

主な発見

• OnlineAugment は、CIFAR-10（2.4%誤差）、CIFAR-100（16.6%）、ImageNet（22.5%）で AutoAugment と同等のテスト誤差率を達成し、単体でも強力な性能を示した。
• AutoAugment と組み合わせた場合、CIFAR-10 では2.0%、CIFAR-100 では16.3%、ImageNet では22.0% まで誤差率を低下させ、新たな最先端の結果を樹立した。
• LiTS肝臓および腫瘍セグメンテーションデータセットでは、空間的および変形増幅を組み合わせた場合、OnlineAugment は平均Diceスコア73.35%を達成し、RandAugment（71.51%）を顕著に上回った。
• A-STN および D-VAE モジュールは、トレーニング中に進化する多様で適応的な増幅を生成し、モデルの収束に伴い増幅の大きさが減少する傾向を示しており、動的な適応性が裏付けられた。
• 腫瘍セグメンテーションでは肝臓セグメンテーションよりも性能向上が顕著で、適応的増幅によりより困難で情報量の多いサンプルが生成され、その恩恵を受けていた。
• A-STN と D-VAE の組み合わせが最良の性能を示し、提案されたモジュールが相補的であり、さまざまな増幅タイプにわたって良好に一般化されることを示した。