[논문 리뷰] CADDA: Class-wise Automatic Differentiable Data Augmentation for EEG Signals

Cédric Rommel, Thomas Moreau외 2명|arXiv (Cornell University)|2021. 06. 25.

EEG and Brain-Computer Interfaces참고 문헌 49인용 수 5

한 줄 요약

이 논문은 EEG 신호를 위한 유연한, 클래스별로 다른 데이터 증강 방법인 CADDA를 제안한다. 이 방법은 기울기 기반 최적화를 통해 각 클래스별로 최적의 증강 정책을 자동으로 학습한다. 새로운 EEG 전용 증강 연산을 도입하여, 클래스 무관 및 클래스별 설정 모두에서 기존의 기울기 기반 및 기울기 비기반 방법보다 뛰어난 성능을 보이며, 수면 단계 분류 작업에서 더 빠른 수렴을 달성한다.

ABSTRACT

Data augmentation is a key element of deep learning pipelines, as it informs the network during training about transformations of the input data that keep the label unchanged. Manually finding adequate augmentation methods and parameters for a given pipeline is however rapidly cumbersome. In particular, while intuition can guide this decision for images, the design and choice of augmentation policies remains unclear for more complex types of data, such as neuroscience signals. Besides, class-dependent augmentation strategies have been surprisingly unexplored in the literature, although it is quite intuitive: changing the color of a car image does not change the object class to be predicted, but doing the same to the picture of an orange does. This paper investigates gradient-based automatic data augmentation algorithms amenable to class-wise policies with exponentially larger search spaces. Motivated by supervised learning applications using EEG signals for which good augmentation policies are mostly unknown, we propose a new differentiable relaxation of the problem. In the class-agnostic setting, results show that our new relaxation leads to optimal performance with faster training than competing gradient-based methods, while also outperforming gradient-free methods in the class-wise setting. This work proposes also novel differentiable augmentation operations relevant for sleep stage classification.

연구 동기 및 목표

• 제한된 데이터를 가진 지도 학습 설정에서 효과적이고 자동화된 EEG 신호 증강 전략의 부족을 해결하기 위해.
• 다른 EEG 단계(예: N2 대비 W)는 서로 다른 불변성을 요구하므로, 클래스 의존적인 증강 정책을 탐색하기 위해.
• 큰 클래스별 정책 공간에서 기울기 기반 최적화를 가능하게 하는, 데이터 증강 탐색 문제의 기울기 기반 유연한 확장 방법을 개발하기 위해.
• 수면 단계 분류에 적합한 새로운 EEG 전용 기울기 기반 증강 연산을 제안하기 위해.
• 최신 기울기 기반 및 기울기 비기반 방법과의 성능 및 효율성 비교를 위해, EEG 수면 단계 분류 및 벤치마크 작업에서 방법을 평가하기 위해.

제안 방법

• EEG 신호에 특화된 세 가지 새로운 기울기 기반 증강 연산을 도입: 시간 반전, 부호 전환, 푸리에 변환 기반 대체 연산.
• AutoAugment의 이중 최적화 프레임워크를 확장하여, 각 클래스가 자체로 학습 가능한 증강 가중치를 가진 클래스별 정책을 지원한다.
• Gumbel-Softmax 유연화를 사용해 하위 정책을 기울기 기반으로 샘플링하여, 증강 정책 선택 과정을 끝에서 끝까지 backpropagation이 가능하게 한다.
• 정책 공간의 기울기 기반 유연화를 활용하여, 각 클래스별로 연산 조합과 그 파라미터를 기울기 기반 최적화로 탐색할 수 있도록 한다.
• 클래스 무관 및 클래스별 설정 모두에 적용하며, 후자의 경우 각 수면 단계에 맞는 별도의 증강 전략을 가능하게 한다.
• 이중 훈련 프로세스를 사용: 내부 루프는 검증 세트에서 정책 성능을 평가하고, 외부 루프는 기울기 하강법을 통해 정책 가중치를 업데이트한다.

실험 결과

연구 질문

• RQ1 클래스별 정책을 가진 기울기 기반 자동 증강이, 클래스 무관 또는 기울기 비기반 방법에 비해 EEG 수면 단계 분류 성능을 향상시키는가?
• RQ2 수면 단계 분류에서 일반화 성능 향상에 효과적인 새로운 EEG 전용 증강 연산은 무엇인가?
• RQ3 정책 탐색 공간의 기울기 기반 유연화가 기존의 블랙박스 최적화보다 더 빠르고 효과적으로 학습을 가능하게 하는가?
• RQ4 클래스별 증강의 성능 향상은 데이터 규모에 따라 달라지며, 밀도 매칭 기반 접근법과 비교해 어떻게 다른가?
• RQ5 다양한 증강 전략은 각 EEG 클래스에 어떻게 영향을 주며, CADDA는 이러한 클래스별 불변성을 탐지할 수 있는가?

주요 결과

• 클래스 무관 설정에서 CADDA는 최종 정확도가 0.5% 높고, Faster AutoAugment보다 40% 더 빠르며, DADA보다 1% 높은 성능을 기록했다.
• 클래스별 설정에서 CADDA는 AutoAugment보다 다섯 배 빠르며, 평가된 모든 기울기 비기반 방법보다 높은 성능을 달성했다.
• 이 방법은 클래스별 증강 전략을 탐지한다: 예를 들어, 시간 반전과 부호 전환은 특정 단계에서 더 유익하며, 다른 단계는 다른 연산이 필요하다.
• PhysioNet 데이터셋에서, 크기 파라미터에 대한 수동 그리드 서치 결과, 최적의 증강 성능는 훈련 데이터 크기에 따라 달라지며, 데이터의 2^-11을 사용할 경우 균형 정확도가 최대 1.5% 향상되었다.
• 밀도 매칭 기반 방법은 저데이터 환경(예: 6박)에서는 성능이 열악하지만, 더 많은 데이터(24박)를 사용할수록 성능이 향상되며, 이는 CADDA의 기울기 기반 탐색이 데이터가 부족한 환경에서의 우수성을 입증한다.
• 제거 실험 결과, 기울기 기반 유연화와 클래스별 정책 설계가 성능 향상에 핵심적임을 확인하였으며, 이 중 어느 하나라도 제거할 경우 정확도가 크게 떨어졌다.