[논문 리뷰] Does Data Augmentation Improve Generalization in NLP?

Rohan Jha, Charles Lovering외 1명|arXiv (Cornell University)|2020. 04. 30.

Topic Modeling참고 문헌 44인용 수 13

한 줄 요약

이 논문은 NLP에서 반례를 사용한 데이터 증강이 일반화 성능을 향상시키는지 조사하기 위해, 경쟁적인 약한 특징과 강한 특징이 있는 합성 작업에서 모델을 테스트한다. 그 결과, 데이터 증강은 종종 성능을 악화시킨 후에야 향상시키며, 강한 특징을 추출하기가 어려운 경우에 효과가 떨어지고, 강한 특징이 훈련 데이터에 존재하지 않을 경우 완전히 실패함을 발견한다.

ABSTRACT

Neural models often exploit superficial features to achieve good performance, rather than deriving more general features. Overcoming this tendency is a central challenge in areas such as representation learning and ML fairness. Recent work has proposed using data augmentation, i.e., generating training examples where the superficial features fail, as a means of encouraging models to prefer the stronger features. We design a series of toy learning problems to test the hypothesis that data augmentation leads models to unlearn weaker heuristics, but not to learn stronger features in their place. We find partial support for this hypothesis: Data augmentation often hurts before it helps, and it is less effective when the preferred strong feature is much more difficult to extract than the competing weak feature.

연구 동기 및 목표

• 반례를 사용한 데이터 증강이 모델이 약한, 표면적인 특징을 버리고 더 강력하고 일반적인 특징을 학습하도록 돕는지 평가하는 것.
• NLP에서 데이터 증강이 모델의 일반화 성능을 향상시키는 조건을 조사하는 것.
• 실제 NLP 작업에서 존재하는 혼란 요인들로부터 데이터 증강의 영향을 분리하여 평가하는 것.
• 증강 후 모델이 더 강한 특징으로 이동하는지, 아니면 새로운 의도하지 않은 약한 특징을 채택하는지 평가하는 것.
• 특징 추출 가능성과 데이터 분포가 데이터 증강 전략의 성공에 미치는 역할을 규명하는 것.

제안 방법

• 강한 특징(완전히 예측 가능하지만 추출하기 어려운)과 약한 특징(쉽게 추출되지만 덜 신뢰할 수 있는)이 있는 합성 이진 시퀀스 분류 작업을 설계한다.
• 임bedding 레이어, 1층의 LSTM, ReLU 활성화를 사용하는 피드포워드 MLP를 갖춘 LSTM 기반 모델을 사용하여 시퀀스를 분류한다.
• 약한 히어리스틱에 의존하는 것을 방해하기 위해, 강한 특징만 또는 약한 특징만 존재하는 반례를 생성한다.
• 훈련 데이터의 1%에서 100%까지 다양한 수준의 데이터 증강을 적용하고, 강한 특징만 포함된 테스트 세트에서 성능을 평가한다.
• 강한 특징에 대한 의존도를 테스트하는 예시에서 정확도를 주요 지표로 사용하여 모델 성능을 측정한다.
• 특징의 복잡도를 정량화하기 위해 최소 기술 길이(MDL)를 사용하여 모델이 특징을 감지하기 어렵다는 정도를 평가한다.

실험 결과

연구 질문

• RQ1 반례를 사용한 데이터 증강이 모델이 약한 특징을 버리고 더 강력하고 일반적인 특징으로 이동하도록 유도하는가?
• RQ2 강한 특징을 추출하는 데 어려움이 클수록 데이터 증강의 효과는 어떻게 영향을 받는가?
• RQ3 데이터 증강이 향상되기 전에 일시적인 성능 저하를 초래하는가, 만약 그렇다면 그 이유는 무엇인가?
• RQ4 반례가 추가되어도 일반화 성능 향상에 실패하는 조건은 무엇인가?
• RQ5 강한 특징이 훈련 데이터에 존재하지 않거나 매우 드물게 나타날 경우, 데이터 증강은 효과가 있는가?

주요 결과

• 데이터 증강은 종종 성능을 악화시킨 후에야 향상되며, 소량의 반례만 추가될 경우 모델이 새로운 의도하지 않은 약한 특징으로 이동하는 경향이 있다.
• MDL 복잡도로 측정했을 때 강한 특징을 추출하기가 어려운 경우 데이터 증강의 효과가 크게 감소한다.
• 강한 특징이 훈련 데이터에 존재하지 않거나 매우 드물게 나타날 경우, 심지어 상당한 수의 반례를 삽입하더라도 데이터 증강은 영향을 미치지 못한다.
• 낮은 수준의 증강(예: 훈련 데이터의 ≤1%)으로 훈련된 모델은 강한 특징만 포함된 예시를 정확히 분류하지 못하며, 이는 의도한 일반화로의 전환 없음을 시사한다.
• 반례가 존재한다고 해서 강한 특징을 학습하도록 이끄는 데는 충분하지 않으며, 증강이 효과가 있으려면 강한 특징이 이미 데이터에 충분히 포함되어 있어야 한다.
• 평가가 특정 현상에 국한되어 있을 경우 데이터 증강의 성능 향상은 오해의 소지가 있으며, 모델이 새로운 히어리스틱을 이용할 수 있기 때문이다.