[논문 리뷰] Be Like Water: Robustness to Extraneous Variables Via Adaptive Feature Normalization

Aakash Kaku, Sreyas Mohan외 3명|arXiv (Cornell University)|2020. 02. 10.

Advanced Neural Network Applications참고 문헌 35인용 수 7

한 줄 요약

이 논문은 훈련과 추론 간 데이터 분포가 변화하는 외부 변수(예: 수술의 품질, 환자 차이, 이미지 손상 등)에 대해 딥러닝 모델의 강건성을 향상시키기 위해 적응형 특성 정규화를 제안한다. 테스트 시기 동안 고정된 외부 변수 값(예: 각 수술의 품질 또는 손상 유형)을 기반으로 정규화 통계를 적응적으로 계산함으로써 분포 불일치를 줄이며, 다양한 아키텍처와 통계 유형을 사용한 CIFAR-10C, JIGSAWS, StrokeRehab 데이터셋에서 10–15%의 정확도 향상을 달성한다.

ABSTRACT

Extraneous variables are variables that are irrelevant for a certain task, but heavily affect the distribution of the available data. In this work, we show that the presence of such variables can degrade the performance of deep-learning models. We study three datasets where there is a strong influence of known extraneous variables: classification of upper-body movements in stroke patients, annotation of surgical activities, and recognition of corrupted images. Models trained with batch normalization learn features that are highly dependent on the extraneous variables. In batch normalization, the statistics used to normalize the features are learned from the training set and fixed at test time, which produces a mismatch in the presence of varying extraneous variables. We demonstrate that estimating the feature statistics adaptively during inference, as in instance normalization, addresses this issue, producing normalized features that are more robust to changes in the extraneous variables. This results in a significant gain in performance for different network architectures and choices of feature statistics.

연구 동기 및 목표

• 훈련과 추론 간 외부 변수(작업과 관련 없지만 데이터 분포에 영향을 주는 인자)가 변화할 경우 딥러닝 모델의 성능 저하 문제를 해결하기 위해.
• 배치 정규화가 훈련 데이터에서 추정한 고정된 통계를 사용하기 때문에 이러한 분포 변화 상황에서 실패함을 규명하기 위해.
• 추론 시기 동안 외부 변수 값이 고정된 배치에서 계산된 통계를 사용해 추론 시 적응형 정규화를 제안하기 위해.
• 외과의 수술 품질, 뇌졸중 환자 이동 분류, 손상된 이미지 인식 등 다양한 외부 변수를 포함한 다양한 데이터셋에서 일관된 성능 향상을 보여주기 위해.
• 외부 변수에 대한 특성의 불변성을 평가하여, 적응형 정규화가 이러한 혼란 요인에 덜 의존하는 특성을 유도함을 보여주기 위해.

제안 방법

• 외부 변수가 고정된 배치에서 추론 시기 동안 특성 통계(평균 및 표준편차, 또는 평균 제곱)를 적응적으로 추정하기 위해.
• 추론 시 외부 변수 레이블의 가용성에 따라 인스턴스 정규화 또는 배치 기반 적응형 정규화를 적용하기 위해.
• 두 단계 훈련 및 추론 파이프라인 사용: 표준 배치 정규화로 훈련한 후, 외부 변수 값이 알려진 보류 데이터를 사용해 테스트 시기 동안 특성들을 적응적으로 정규화하기 위해.
• 펜ultimate 레이어 특성에 대해 작은 디코더 네트워크를 훈련시켜, 외부 변수에 대한 불변성을 측정하기 위해 복원 정확도를 측정하기 위해.
• 다양한 아키텍처와 통계 유형(평균/표준편차, 평균 제곱)에 대해 비적응형(배치 정규화)과 적응형 정규화 방식을 비교하기 위해.
• 세 가지 실제 세계 데이터셋에서 성능을 평가하기 위해: CIFAR-10C(이미지 손상), JIGSAWS(수술 제스처 인식), StrokeRehab(뇌졸중 환자 이동 분류).

실험 결과

연구 질문

• RQ1 외부 변수(예: 수술의 품질, 이미지 손상 유형 등)가 훈련과 추론 간에 변화할 경우 비적응형 배치 정규화가 특성을 올바르게 정규화하지 못하는가?
• RQ2 외부 변수 값이 고정된 보류 데이터에서 통계를 계산하는 적응형 정규화 방식이 이러한 환경에서 분류 정확도를 향상시킬 수 있는가?
• RQ3 적응형 정규화로 학습된 특성이, 복원 정확도 측정을 통해 외부 변수에 대해 얼마나 불변성이 높은가?
• RQ4 다양한 정규화 통계 유형(평균/표준편차 대비 평균 제곱)과 정규화 방식(배치 기반 대비 인스턴스 기반) 간 성능 및 불변성에서의 비교 결과는 어떠한가?
• RQ5 적응형 정규화로 얻는 성능 향상은 다양한 데이터셋과 네트워크 아키텍처 간에 일관되게 유지되는가?

주요 결과

• 모든 세 데이터셋(CIFAR-10C, JIGSAWS, StrokeRehab)에서 비적응형 배치 정규화 대비 적응형 정규화가 10–15%의 절대 정확도 향상을 보였다.
• JIGSAWS 데이터셋에서 배치 기반 적응형 정규화가 인스턴스 기반 정규화를 능가했으며, 이는 수술의 품질 외에도 다른 외부 변수가 존재할 가능성을 시사한다.
• CIFAR-10C와 StrokeRehab에서는 배치 기반 및 인스턴스 기반 적응형 정규화가 유사한 성능을 보였으며, 이는 적응 전략에 관계없이 일관된 성능 향상이 있음을 의미한다.
• 적응형 정규화는 더 높은 불변성을 유도한다: 비적응형 모델 대비 적응형 정규화 모델의 특성에서 외부 변수(예: 수술의 품질)에 대한 복원 정확도가 유의미하게 낮았다.
• 다양한 네트워크 아키텍처와 특성 통계 유형(평균/표준편차 및 평균 제곱)에 걸쳐 성능 향상이 유사하게 유지되어, 이 방법의 일반화 능력을 확인했다.
• 정규화된 특성의 히스토GRAM을 분석한 결과, 비적응형 정규화는 분포 변화 상황에서 평균이 0에 중심화되거나 표준편차가 1이 되지 못하지만, 적응형 정규화는 적절한 정규화를 복원함을 보였다.