[논문 리뷰] Informative Features for Model Comparison

Wittawat Jitkrittum, Heishiro Kanagawa외 4명|arXiv (Cornell University)|2018. 10. 27.

Machine Learning and Data Classification인용 수 14

한 줄 요약

이 논문은 두 개의 확률 모델 간 상대적 적합도를 평가하기 위한 두 가지 새로운 비모수적이고 선형 시간 복잡도를 가지는 통계적 검정을 제안한다. 이는 한 모델이 다른 모델보다 더 잘 맞는 데이터 영역을 해석 가능한 방식으로 식별할 수 있도록 한다. 이 검정들은 최신 기법인 Rel-MMD와 유사한 검정력을 가지면서도, 실행 속도가 한 단계 빠르며, 유의미한 검정 위치를 통해 실질적인 통찰을 제공한다.

ABSTRACT

Given two candidate models, and a set of target observations, we address the problem of measuring the relative goodness of fit of the two models. We propose two new statistical tests which are nonparametric, computationally efficient (runtime complexity is linear in the sample size), and interpretable. As a unique advantage, our tests can produce a set of examples (informative features) indicating the regions in the data domain where one model fits significantly better than the other. In a real-world problem of comparing GAN models, the test power of our new test matches that of the state-of-the-art test of relative goodness of fit, while being one order of magnitude faster.

연구 동기 및 목표

• 기존의 모델 비교 방법이 한 모델이 다른 모델보다 더 잘 맞는 *장소* 를 특정하지 못하는 한계를 해결하기 위해.
• 상대적 적합도에 대해 계산 효율적이며 비모수적인 선형 실행 시간 복잡도를 가지는 검정을 개발하기 위해.
• 특정 데이터 영역(정보적인 특징)에서 한 모델이 다른 모델보다 더 잘 맞는지를 식별함으로써 국소적이고 해석 가능한 통찰을 제공하기 위해.
• 생성 모델(예: GAN)의 훈련 및 하이퍼파라미터 튜닝 중 실시간으로 실질적인 비교를 가능하게 하기 위해.
• 샘플 기반과 밀도 함수 기반의 두 가지 변형을 제공함으로써 기존 방법을 보완하여, 각각 모델 적합도의 다른 측면을 강조하기 위해.

제안 방법

• 상대적 모델 비교를 위해 적응시킨 최대 평균 차이(MMD) 프레임워크에 기반한 선형 시간 두 샘플 검정을 제안한다.
• 두 모델의 확률 밀도 함수(또는 그 비정규화된 형태)를 사용하는 두 번째 검정을 도입하며, 스텐의 방법을 기반으로 한 삼중 분산 검정을 활용한다.
• 모델 적합도의 차이가 가장 두드러지는 곳(검정 위치)을 식별하기 위해 검정력 기준을 사용한다.
• 수동으로 검정 위치를 지정하지 않고도 가장 두드러진 데이터 영역을 자동으로 발견하기 위해 탐욕적 최적화 절차를 적용한다.
• 사전에 훈련된 컨volutional 네트워크에서 추출한 깊은 특징에 대해 가우시안 커널을 적용하여 고차원 데이터 공간에서의 유사도를 측정한다.
• 검정 위치는 검정력 기준을 최대화하거나 최소화하도록 선택되며, 이는 한 모델이 다른 모델보다 현저히 더 잘 맞는 영역을 나타낸다.

실험 결과

연구 질문

• RQ1 한 모델이 다른 모델보다 더 잘 맞는 장소를 식별할 수 있는 동시에 계산 효율적이고 해석 가능한 상대적 적합도 검정을 개발할 수 있는가?
• RQ2 제안된 검정의 통계적 검정력과 실행 시간 측면에서 최신 기법인 Rel-MMD 검정과 비교해 볼 때 성능는 어떠한가?
• RQ3 이 검정은 한 GAN 모델이 다른 모델보다 더 현실적인 샘플을 생성하는 특정 데이터 영역(예: 손글씨 숫자)을 식별할 수 있는가?
• RQ4 이 검정은 훈련 과정에서 모델 품질의 비단조화적인 변화(예: 일부 모드에서는 향상되고 다른 모드에서는 악화됨)를 드러낼 수 있는가?
• RQ5 수동 레이블링 없이도 검정 위치를 자동으로 최적화하여 두 모델 간의 가장 두드러진 특징을 반영할 수 있는가?

주요 결과

• 제안된 Rel-UME 검정은 최신 기법인 Rel-MMD 검정과 유사한 통계적 검정력을 가지며, 실행 시간 측면에서 뚜렷한 우월성을 보이며, 실행 속도가 한 단계 더 빠르다.
• GAN 훈련 실험에서, 17 에포크 동안 훈련된 모델이 15 에포크 모델보다 숫자 '6'을 생성하는 데서 더 잘 맞는 것으로 정확히 식별되었다. 반면, 오래된 모델은 숫자 '3'과 '9'에서 더 잘 맞았다.
• 15-와 17-에포크 모델 비교 시, 숫자 '3'과 '9'에 대해 검정력 기준 값은 대부분 음수였으며, 이는 초기 모델이 해당 영역에서 더 나은 성능을 보였음을 의미한다.
• 숫자 '6'에 대해서는 검정력 기준 값이 대부분 양수였으며, 이는 후속 모델이 해당 영역에서 더 나은 샘플을 생성했음을 확인한다.
• 클래스 불균형에 대해 검정 결과가 강인했으며, 두 모델이 거의 균형 잡힌 클래스 비율로 숫자를 생성했기 때문에, 차이가 분포 불일치 때문이 아니라 생성 품질 때문임을 확인할 수 있었다.
• 검정력 기준의 탐욕적 최적화가 수동 선택과 동일한 구별되는 영역(예: '6', '3')을 성공적으로 식별하여, 자동으로 검정 위치를 발견하는 것이 가능함을 보여주었다.