[논문 리뷰] ModelDiff: A Framework for Comparing Learning Algorithms

Harshay Shah, Sung Min Park외 2명|arXiv (Cornell University)|2022. 11. 22.

Machine Learning and Data Classification인용 수 5

한 줄 요약

ModelDiff는 다양한 학습 알고리즘으로 훈련된 모델 간의 차이를 식별하기 위해 입력 변환을 탐지하는 프레임워크이다. 데이터 모델링을 활용해 훈련 데이터 의존성을 탐지하고, 데이터 증강, 사전 훈련, SGD 초모수에 의한 모델 행동의 미세한 차이를 드러낸다.

ABSTRACT

We study the problem of (learning) algorithm comparison, where the goal is to find differences between models trained with two different learning algorithms. We begin by formalizing this goal as one of finding distinguishing feature transformations, i.e., input transformations that change the predictions of models trained with one learning algorithm but not the other. We then present ModelDiff, a method that leverages the datamodels framework (Ilyas et al., 2022) to compare learning algorithms based on how they use their training data. We demonstrate ModelDiff through three case studies, comparing models trained with/without data augmentation, with/without pre-training, and with different SGD hyperparameters. Our code is available at https://github.com/MadryLab/modeldiff .

연구 동기 및 목표

• 입력 공간에서 구별되는 특징 변환을 식별하는 방식으로 학습 알고리즘 비교 문제를 공식화하는 것.
• 사전 가설 없이도 어떤 두 학습 알고리즘이라도 일반적으로 비교할 수 있는 방법을 개발하는 것.
• 데이터 모델링을 통해 모델 예측 분석을 통해 학습 알고리즘이 훈련 데이터를 어떻게 다르게 사용하는지 정량화하는 것.
• 편향과 일반화에 영향을 주는 설계 선택의 영향을 세밀하게 분석할 수 있도록 하는 것.
• 부모집단 분석과 반사적 검증을 통해 알고리즘적 차이에 대한 해석 가능하고 검증 가능한 통찰을 제공하는 것.

제안 방법

• 모델 예측에 대해 한 모델은 영향을 주지만 다른 모델은 영향을 주지 않는 입력 변환을 찾는 것으로 알고리즘 비교를 공식화하는 것.
• 각 훈련 예제가 모델의 예측에 기여하는 정도를 정량화하기 위해 데이터 모델링 프레임워크 [IPE+22]를 활용하는 것.
• 각 테스트 예제의 잔차 데이터 모델링 벡터를 계산하여, 모델들이 훈련 데이터 의존성에서 다름을 보이는 하위집단을 식별하는 것.
• 잔차 데이터 모델링의 주성분을 추출하여 특징 공간 내에서의 구별되는 방향을 식별하는 것.
• 비전-언어 모델(예: CLIP)을 사용하여 구별되는 하위집단에서 대조적인 캡션을 추출함으로써 후보 변환을 검증하는 것.
• 반사적 분석을 수행하여 설계된 변환이 예상된 방식으로 예측을 일관되게 변화시킨다는 것을 검증하는 것.

실험 결과

연구 질문

• RQ1 특징 사용 측면에서 학습 알고리즘 비교 문제를 어떻게 공식적으로 정의할 수 있는가?
• RQ2 어떤 입력 변환이 다양한 학습 알고리즘으로 훈련된 모델을 신뢰성 있게 구별하는가?
• RQ3 데이터 증강, 사전 훈련, SGD 초모수는 특정 훈련 예제에 대한 모델 의존성에 어떻게 영향을 주는가?
• RQ4 모델이 예측 행동에서 체계적으로 다름을 보이는 테스트 예제의 하위집단을 자동으로 파악할 수 있는가?
• RQ5 비전-언어 모델인 CLIP은 구별되는 특징 변환을 해석하고 검증하는 데 어느 정도 도움이 될 수 있는가?

주요 결과

• 데이터 증강을 사용한 모델은 이미지에 거미줄을 추가했을 때 '거미' 클래스에 대해 평균 15% 높은 신뢰도를 보이며, 증강 없이 훈련된 모델은 1% 뿐이다.
• ImageNet에서 사전 훈련한 모델은 노란색 패치를 추가했을 때 '땅새'에 대해 +12% 높은 신뢰도를 보이지만, 처음부터 미세조정한 모델은 -4% 감소한다.
• 배경에 인간 얼굴을 추가하면 사전 훈련된 모델은 '땅새'에 대해 +4% 높은 신뢰도를 보이지만, 처음부터 훈련한 모델은 -1% 감소한다.
• 작은 학습률로 훈련된 모델은 창문 모양의 패tern을 추가했을 때 '트럭'에 대해 평균 7% 높은 신뢰도를 보이며, 큰 학습률을 사용한 모델은 단지 2% 뿐이다.
• CLIP 기반 캡션 추출은 '노란색', '레몬', '얼굴'과 같은 구별되는 특징을 성공적으로 식별하여 수동으로 유추한 편향과 일치한다.
• 잔차 데이터 모델링의 주성분은 모든 사례 연구에서 일관되고 해석 가능한 모델 행동의 차이를 보이는 하위집단을 효과적으로 드러낸다.