[논문 리뷰] Data Augmentation for Compositional Data: Advancing Predictive Models of the Microbiome

Elliott Gordon-Rodríguez, Thomas P. Quinn외 1명|arXiv (Cornell University)|2022. 05. 20.

Oral microbiology and periodontitis research인용 수 6

한 줄 요약

이 논문은 마이크로바이옴 조성과 같은 조성 데이터(Compositional Data, CoDa)를 위해 특별히 설계된 새로운 데이터 증강 기법—Aitchison Mixup, 조성 CutMix, Random Subcompositions—을 소개한다. 단순형의 Aitchison 기하학을 활용하고 이러한 기법들을 지도학습 및 대조학습 파ip라인에 통합함으로써, 대장암, 제2형 당뇨병, 크론병과 같은 핵심 마이크로바이옴 질병 예측 과제에서 최신 기술 수준의 성능을 달성하였으며, 일부 모델에서 AUC가 20% 이상 향상되었다.

ABSTRACT

Data augmentation plays a key role in modern machine learning pipelines. While numerous augmentation strategies have been studied in the context of computer vision and natural language processing, less is known for other data modalities. Our work extends the success of data augmentation to compositional data, i.e., simplex-valued data, which is of particular interest in the context of the human microbiome. Drawing on key principles from compositional data analysis, such as the Aitchison geometry of the simplex and subcompositions, we define novel augmentation strategies for this data modality. Incorporating our data augmentations into standard supervised learning pipelines results in consistent performance gains across a wide range of standard benchmark datasets. In particular, we set a new state-of-the-art for key disease prediction tasks including colorectal cancer, type 2 diabetes, and Crohn's disease. In addition, our data augmentations enable us to define a novel contrastive learning model, which improves on previous representation learning approaches for microbiome compositional data. Our code is available at https://github.com/cunningham-lab/AugCoDa.

연구 동기 및 목표

• 조성 데이터(CoDa), 특히 마이크로바이옴 연구 분야에서 효과적인 데이터 증강 전략의 부족을 해결하기 위해.
• 상대 농도 데이터의 단순형 기하학을 존중하는 데이터 증강 기법을 개발하여 통계적 및 기하학적 타당성을 확보하기 위해.
• 낮은 표본 수와 높은 차원성으로 인해 어려움을 겪는 마이크로바이옴 데이터셋에서 지도학습 및 대조학습 모델의 성능을 향상시키기 위해.
• 데이터 증강을 통해 마이크로바이옴 관련 질병 예측 모델링의 새로운 최신 기술 수준을 확립하기 위해.
• 조성 증강 기반의 새로운 대조학습 프레임워크를 통해 마이크로바이옴 데이터의 더 나은 표현 학습을 가능하게 하기 위해.

제안 방법

• Aitchison 기하학의 단순형에서 두 조성 데이터 포인트를 선형으로 내삽하는 Aitchison Mixup이라는 데이터 증강 방법을 제안하여 상대 비율을 유지한다.
• 한 데이터 포인트의 일부 특징을 다른 데이터 포인트의 특징으로 대체하는 Compositional CutMix을 도입하며, 조성의 통합성을 유지하기 위해 Aitchison 기하학을 활용한다.
• 각 데이터 포인트에서 특징의 부분집합(하위조성)을 무작위로 선택하여 증강 샘플을 생성하는 Random Subcompositions 전략을 개발하여 특징 부분집합의 변동성에 대한 강건성을 향상시킨다.
• 이러한 증강 기법들을 표준 지도학습 파이프라인에 통합하여 벤치마크 데이터셋에서 일반화 능력과 성능을 향상시킨다.
• 동일한 샘플의 증강된 시각을 양성 쌍으로, 다른 샘플 간의 쌍을 음성 쌍으로 삼아 증강 기법을 대조학습에 적용하고, 불변 표현을 학습하기 위해 대조 손실을 사용한다.
• 2,000 에포크 동안 표준 초모수를 사용한 Adam 옵timizer를 사용하고 조기 정지 기법을 적용하며, 다양한 데이터셋에서 선형 평가 및 파인튜닝 프로토콜을 통해 평가한다.

실험 결과

연구 질문

• RQ1 컴퓨터 비전 및 NLP에서 사용되는 데이터 증강 기법들이 조성 데이터, 예를 들어 마이크로바이옴 상대 농도에 효과적으로 적용될 수 있는가?
• RQ2 단순형의 기하학적 구조(Aitchison 기하학)는 조성 데이터(CoDa)에 대한 의미 있고 타당한 데이터 증강 기법을 설계하는 데 어떻게 활용될 수 있는가?
• RQ3 이러한 새로운 증강 기법들은 마이크로바이옴 질병 예측 과제에서 지도학습 성능 향상에 일관되게 기여하는가?
• RQ4 이러한 증강 기법들은 마이크로바이옴 CoDa에 대해 효과적인 대조 표현 학습 모델을 훈련시키는 데 사용될 수 있는가?
• RQ5 제안된 증강 기법들은 낮은 표본 수, 높은 차원성의 마이크로바이옴 데이터셋에서 일반화 및 강건성을 향상시키는가?

주요 결과

• 제안된 데이터 증강 기법—Aitchison Mixup, 조성 CutMix, Random Subcompositions—은 마이크로바이옴 학습 레포지터리에서 제공하는 12개의 표준 마이크로바이옴 벤치마크 데이터셋 전반에서 일관된 성능 향상을 보였다.
• 제안된 증강 기법을 사용할 경우, 대장암 분류에서 DeepCoDa가 테스트 AUC에서 10퍼센트 이상의 절대적 향상을 기록했으며, 제2형 당뇨병에서는 20퍼센트 이상 향상되었다.
• Random Subcompositions를 사용한 대조학습 프레임워크는 모든 과제에서 선형 평가 및 파인튜닝 프로토콜 모두에서 DeepMicro 및 무작위 초기화 모델을 능가했다.
• 평균적으로 대조 모델은 선형 평가에서 78%의 AUC, 파인튜닝에서는 77%의 AUC를 기록했으며, DeepMicro는 각각 75%와 76%였다.
• 대장암, 제2형 당뇨병, 크론병과 같은 핵심 질병 예측 과제에서 새로운 최신 기술 수준을 확립하였으며, 통계적으로 유의미한 성과 향상이 있었다.
• 결과는 데이터 증강이 데이터 부족이 주요 과제가 되는 마이크로바이옴 연구 분야에서 모델 성능을 향상시키는 강력하고 저비용의 방법임을 보여주었다.