[논문 리뷰] Research Trends and Applications of Data Augmentation Algorithms

João Fonseca, Fernando Bação|arXiv (Cornell University)|2022. 07. 18.

Machine Learning and ELM인용 수 6

한 줄 요약

이 논문은 텍스트 마이닝, 네트워크 과학, 탐색적 분석을 활용한 Scopus 색인 논문에 대한 연구 추세와 응용을 분석한다. 핵심 분야를 규명하고, 특히 딥 러닝 기반 보정의 부상과 같은 방법론의 변화를 분석하며, 이전 이전성, 초기화 민감성, 소데이터 보정 및 개인정보 보호를 고려한 합성 데이터 생성과 같은 미개척 분야를 포함한 연구 격차를 제시한다.

ABSTRACT

In the Machine Learning research community, there is a consensus regarding the relationship between model complexity and the required amount of data and computation power. In real world applications, these computational requirements are not always available, motivating research on regularization methods. In addition, current and past research have shown that simpler classification algorithms can reach state-of-the-art performance on computer vision tasks given a robust method to artificially augment the training dataset. Because of this, data augmentation techniques became a popular research topic in recent years. However, existing data augmentation methods are generally less transferable than other regularization methods. In this paper we identify the main areas of application of data augmentation algorithms, the types of algorithms used, significant research trends, their progression over time and research gaps in data augmentation literature. To do this, the related literature was collected through the Scopus database. Its analysis was done following network science, text mining and exploratory analysis approaches. We expect readers to understand the potential of data augmentation, as well as identify future research directions and open questions within data augmentation research.

연구 동기 및 목표

• 머신러닝 연구에서 데이터 보정의 주요 분야와 응용을 규명하기 위해.
• 특히 히ュ리스틱 기반 방법에서 딥 러닝 기반 방법으로의 전환을 포함한 시간에 따른 데이터 보정 기법의 진화를 분석하기 위해.
• 모델 초기화, 데이터 품질, 이전 이전성과 같은 문제에 대한 제한 사항과 열려 있는 연구 질문을 밝혀내기 위해.
• 개인정보 보호를 고려한 즉각적인 합성 데이터 생성과 저장 용량 감소를 위한 데이터 보정의 잠재력을 탐색하기 위해.
• 단순한 분류기 성능 향상에 있어 데이터 보정의 역할을 조사하여 딥 러닝 모델의 지배적 지위에 도전하기 위해.

제안 방법

• 키워드 및 제목 기반 쿼리를 사용해 Scopus 데이터베이스에서 1,800篇 이상의 데이터 보정 관련 연구 논문을 수집하였다.
• 자연어 처리(NLP) 기법을 적용하여 주제 군집화를 위한 关련 키워드, 초록, 제목을 추출하고 분석하였다.
• 키워드 공출현 네트워크를 구축하고 커뮤니티 탐지 알고리즘을 사용하여 별도의 연구 공동체와 주제 군집을 식별하였다.
• 초록에 대해 잠재적 디리히레 분포(Latent Dirichlet Allocation, LDA)를 사용한 토픽 모델링을 수행하여 주요 연구 주제와 그 변화를 파악하였다.
• 논문 출판 추세의 시계열 분석을 수행하여 메서드의 인기 변화(예: 베이지안 대비 딥 러닝 기반 방법)를 추적하였다.
• 특히 저자료 환경과 개인정보 민감한 맥락에서의 일반화 능력 향상에 있어 데이터 보정의 영향을 평가하였다.

실험 결과

연구 질문

• RQ1 어느 분야와 응용 분야에서 데이터 보정 기법이 가장 자주 사용되는가?
• RQ2 히ュ리스틱 기반과 딥 러닝 기반 접근 방식 간의 인기 변화에 따라 시간에 따라 데이터 보정 방법론은 어떻게 진화해 왔는가?
• RQ3 데이터 보정 연구에서 가장 두드러진 연구 공동체와 주제 군집은 무엇이며, 특정 응용 분야와 어떻게 연관되어 있는가?
• RQ4 현재 데이터 보정 연구에서 가장 중요한 제한 사항과 열려 있는 연구 질문은 무엇인가, 특히 모델 초기화, 데이터 품질, 이전 이전성 측면에서?
• RQ5 데이터 보정이 활성 학습 및 기타 데이터 효율적 학습 전략을 대체하거나 보완할 수 있는 정도는 어느 정도인가?

주요 결과

• 데이터 보정은 컴퓨터 비전 분야에 가장 널리 적용되며, 이미지 분류, 세분화, 객체 검출, 인painting 등에 널리 사용된다.
• 베이지안 기반 및 마르코프 체인 기반 데이터 보정 방법에 대한 연구는 인기 하락 추세를 보이며, 최근에는 딥 러닝 기반 방법의 인기 상승을 보이고 있다.
• 효과적임에도 불구하고 데이터 보정 방법은 하이퍼파ram터나 초기화가 다를 경우 서로 다른 모델과 데이터셋 간에 이전 이전성이 제한적임을 보여준다.
• 모델 품질은 랜덤 시드와 데이터 보정 중 사용된 훈련 서브셋에 의해 크게 영향을 받으며, 초기화 민감성이 높음을 시사한다.
• 데이터 보정을 통해 개인정보 보호를 고려한 완전히 인공적인 데이터셋을 즉각적으로 생성할 잠재력이 증가하고 있으며, 저장 및 공유 문제를 줄일 수 있다.
• 강력한 데이터 보정을 결합한 단순한 분류기 역시 최신 성능을 달성할 수 있으며, 이는 데이터 보정이 복잡한 딥 러닝 아키텍처에 대한 의존도를 감소시킬 수 있음을 시사한다.