[논문 리뷰] OnlineAugment: Online Data Augmentation with Less Domain Knowledge

Zhiqiang Tang, Yunhe Gao외 4명|ArXiv.org|2020. 07. 17.

Domain Adaptation and Few-Shot Learning참고 문헌 43인용 수 4

한 줄 요약

OnlineAugment는 훈련 중에 적응형이며 도메인에 관계없이 적용 가능한 보정을 생성하는 온라인, 메타학습 기반 데이터 증강 프레임워크를 제안한다. 이는 A-STN, D-VAE, P-VAE 세 개의 학습 가능한 네트워크를 공동으로 훈련시켜 구현한다. 기존의 오프라인 방법과 달리, 모델 상태에 따라 동적으로 보정을 조정함으로써 AutoAugment와 유사한 성능을 달성하며, 오프라인 정책과 조합할 경우 최신 기술 수준의 성능을 더욱 향상시킨다.

ABSTRACT

Data augmentation is one of the most important tools in training modern deep neural networks. Recently, great advances have been made in searching for optimal augmentation policies in the image classification domain. However, two key points related to data augmentation remain uncovered by the current methods. First is that most if not all modern augmentation search methods are offline and learning policies are isolated from their usage. The learned policies are mostly constant throughout the training process and are not adapted to the current training model state. Second, the policies rely on class-preserving image processing functions. Hence applying current offline methods to new tasks may require domain knowledge to specify such kind of operations. In this work, we offer an orthogonal online data augmentation scheme together with three new augmentation networks, co-trained with the target learning task. It is both more efficient, in the sense that it does not require expensive offline training when entering a new domain, and more adaptive as it adapts to the learner state. Our augmentation networks require less domain knowledge and are easily applicable to new tasks. Extensive experiments demonstrate that the proposed scheme alone performs on par with the state-of-the-art offline data augmentation methods, as well as improving upon the state-of-the-art in combination with those methods. Code is available at https://github.com/zhiqiangdon/online-augment .

연구 동기 및 목표

• 고정된 수작업 정책에 의존하고 비용이 많이 들거나 검색 과정이 필요한 오프라인 데이터 증강의 한계를 해결한다.
• 기존의 이미지 처리 연산을 학습 가능한 신경망으로 대체함으로써 도메인 특화 지식에 대한 의존도를 줄인다.
• 학습 모델의 현재 상태에 맞추어 훈련 전반에 걸쳐 데이터 증강을 온라인으로 적응시키며, 일반화 성능과 효율성을 향상시킨다.
• 기존 오프라인 방법과 수직적(orthogonal)인 통합 프레임워크를 개발하여 함께 사용할 수 있도록 하여 성능 향상을 더욱 높인다.
• 이미지 분류를 넘어서 의료 영상 분할과 같은 과제에 적용하여 일반화 능력을 입증한다. 도전적인 데이터셋에서 뛰어난 강건성을 보여준다.

제안 방법

• 학습 가능한 증강 네트워크 세 종류를 도입한다: A-STN(편미로 공간 변환망), D-VAE(변형 변동 자동에코더), P-VAE(편향 변동 자동에코더). 이들은 사전 정의된 이미지 연산에 의존하지 않고 다양한 증강을 생성한다.
• 메타학습 목적함수를 사용하여 증강 네트워크와 타겟 모델을 엔드 투 엔드로 공동 훈련함으로써 훈련 단계 간의 일반화를 장려한다.
• 증강 네트워크에 대해 적대적 훈련을 적용하여 과적합을 방지하고 생성된 증강의 강건성을 향상시킨다.
• 과제에 특화된 정규화 손실을 사용하여 증강 네트워크가 의미 있는, 클래스를 유지하는 변환을 학습하도록 이끈다.
• 메타학습과 적대적 훈련을 통합하여 증강 네트워크가 현재 모델 상태에 따라 변환 강도를 적응적으로 조정할 수 있도록 한다.
• 주 훈련 루프 동안 실시간으로 증강 네트워크를 훈련시어 별도의 오프라인 정책 검색나 사전 훈련이 필요 없도록 한다.

실험 결과

연구 질문

• RQ1 이상적인 적응형 온라인 데이터 증강은 이미지 분류 과제에서 AutoAugment와 같은 최신 오프라인 증강 정책을 능가하거나 보완할 수 있는가?
• RQ2 학습 가능한 증강 네트워크는 데이터 증강 연산 설계 시 도메인 특화 지식이 얼마나 줄어들 수 있는가?
• RQ3 메타학습과 적대적 훈련의 통합은 온라인 데이터 증강의 일반화 능력과 강건성을 얼마나 향상시키는가?
• RQ4 온라인 데이터 증강은 분류 과제를 넘어서 의료 영상 분할과 같은 비분류 과제로 효과적으로 이식될 수 있는가?
• RQ5 훈련 중 증강 강도를 동적으로 조정하는 것이 모델 수렴과 성능 향상에 어떻게 기여하는가?

주요 결과

• OnlineAugment는 자체적으로 CIFAR-10(2.4% 오차), CIFAR-100(16.6%), ImageNet(22.5%)에서 AutoAugment와 유사한 테스트 오차율을 달성하여 뛰어난 독립 성능을 입증한다.
• AutoAugment와 조합할 경우, OnlineAugment는 CIFAR-10에서 2.0%, CIFAR-100에서 16.3%, ImageNet에서 22.0%로 테스트 오차를 감소시켜 새로운 최신 기술 수준의 성능을 확립한다.
• LiTS 간성 및 종양 분할 데이터셋에서 OnlineAugment는 공간 및 변형 증강을 조합하여 평균 Dice 스코어 73.35%를 기록했으며, 이는 RandAugment(71.51%)보다 뚜렷이 뛰어난 성능이다.
• A-STN 및 D-VAE 모듈은 훈련 중에 진화하는 다양한 적응형 증강을 생성하며, 모델 수렴에 따라 증강 강도가 감소하는 경향을 보여 동적 적응을 확인한다.
• 종양 분할 과제에서 간 분할 과제보다 성능 향상이 더 두드러지며, 이는 적응형 증강이 더 어려운, 더 정보가 풍부한 샘플을 생성함을 시사한다.
• A-STN과 D-VAE의 조합이 가장 뛰어난 성능을 보이며, 제안된 모듈이 상호 보완적이며 다양한 증강 유형에 걸쳐 잘 일반화됨을 입증한다.