[논문 리뷰] Grounding Representation Similarity with Statistical Testing

Frances Ding, Jean-Stanislas Denain외 1명|arXiv (Cornell University)|2021. 08. 03.

Domain Adaptation and Few-Shot Learning참고 문헌 41인용 수 4

한 줄 요약

이 논문은 신경망 내 표현 유사도 측정법의 정확도를 평가하기 위해 기능적 변화에 대한 민감도와 관련 없는 노이즈에 대한 특이도를 평가하는 통계적 테스트 프레임워크를 제안한다. 주로 사용되는 측정법인 CKA와 CCA는 핵심 벤치마크에서 실패하는 반면, 고전적인 직교 프로쿠스테스 거리는 다양한 기능적 행동에서 뛰어난 성능을 보이며, 직관에 기반한 측정법 선택이 아닌 체계적인 평가의 필요성을 강조한다.

ABSTRACT

To understand neural network behavior, recent works quantitatively compare different networks' learned representations using canonical correlation analysis (CCA), centered kernel alignment (CKA), and other dissimilarity measures. Unfortunately, these widely used measures often disagree on fundamental observations, such as whether deep networks differing only in random initialization learn similar representations. These disagreements raise the question: which, if any, of these dissimilarity measures should we believe? We provide a framework to ground this question through a concrete test: measures should have sensitivity to changes that affect functional behavior, and specificity against changes that do not. We quantify this through a variety of functional behaviors including probing accuracy and robustness to distribution shift, and examine changes such as varying random initialization and deleting principal components. We find that current metrics exhibit different weaknesses, note that a classical baseline performs surprisingly well, and highlight settings where all metrics appear to fail, thus providing a challenge set for further improvement.

연구 동기 및 목표

• CKA와 CCA와 같은 표현 유사도 측정법 간의 합의 부족 문제를 해결하기 위해, 기본적인 비교에서 서로 다른 결과를 내는 경우가 빈번히 발생하는 점을 다루기 위함.
• 이러한 측정법을 평가하기 위한 공식 기준을 설정하기 위함: 기능적 변화에 민감해야 하고, 무시할 수 있는 변화(예: 무작위 가중치 초기화)에는 특이도를 가져야 한다.
• 진정한 측정법 성능을 기반으로 하기 위해, 탐색 정확도와 분포 외 성능 등 기능적 행동을 활용해 포괄적인 벤치마크를 구축하기 위함.
• 모든 측정법이 우연의 성능 이하로만 작동하는 체계적인 실패 케이스를 식별하여 향후 측정법 개발을 위한 도전 세트를 마련하기 위함.
• 최근의 새로운 방법에 대한 편향을 줄이고, 직관에 기반한 측정법 선택이 아닌 체계적인 평가를 주장하기 위함.

제안 방법

• 표현 유사도를 분류 문제로 정의: 두 표현이 기능적으로 유사한지 또는 다른지를 판단하는 것.
• 통계적 테스트 원리를 적용: 측정법은 모델 행동에 영향을 주는 변화에 민감하고, 무시할 수 있는 변화(예: 무작위 초기화)에는 특이도를 가져야 한다.
• 무작위 시드, 레이어 깊이, 낮은 랭크 근사값을 변화시켜 30,480개의 예제로 구성된 벤치마크를 구축.
• 기능적 행동은 탐색 정확도(구문 정보)와 분포 외(OOD) 성능을 통해 측정.
• 측정법의 순위 상관관계를 기반으로 평가: 내부 분포 표현을 사용해 OOD 행동을 예측하는 데 성능을 평가.
• 다섯 가지 측정법(CKA, CCA, PWCCA, 직교 프로쿠스테스, 벡터 공간 정렬)을 평가하며, 주로 주성분 삭제에 대한 민감도와 무작위 초기화에 대한 반응을 중심으로 분석.

실험 결과

연구 질문

• RQ1 CKA와 CCA와 같은 널리 사용되는 표현 유사도 측정법이 기능적 행동에 영향을 주는 변화를 신뢰성 있게 감지할 수 있는가?
• RQ2 이러한 측정법들이 무작위 가중치 초기화와 같은 관련 없는 변화를 충분히 간과하는가?
• RQ3 내부 분포 표현만을 사용해도 표현 유사도 측정법이 분포 외 성능을 예측할 수 있는가?
• RQ4 모든 측정법이 우연의 수준 이하로만 작동하는 체계적인 실패 케이스가 존재하는가?
• RQ5 고전적인 측정법인 직교 프로쿠스테스 거리는 실제 기반 벤치마크에서 현대적 대안들보다 뛰어난 성능을 보이는가?

주요 결과

• CCA는 특이도에 실패한다: 무작위 초기화 노이즈로 인한 잘못된 유사도를 감지하여, 멀리 떨어진 레이어들 사이에서도 비슷하다고 오해한다.
• CKA는 민감도에 실패한다: 상위 10개 주성분 이외의 변화는 감지하지 못해 중간 크기의 차이를 놓친다.
• 직교 프로쿠스테스 거리는 탐색 정확도와 OOD 성능 벤치마크에서 일관되게 뛰어난 성능을 보이며, CKA와 CCA를 능가한다.
• 모든 측정법이 OOD 성능을 우연의 수준 이하로만 예측하는 도전 세트가 확인되었으며, 이는 현재 측정법의 능력에 심각한 격차가 있음을 시사한다.
• 고전적인 직교 프로쿠스테스 거리는 놀랍게 강력한 기준이 되며, 새로운 측정법이 항상 기존 방법보다 우월하지 않음을 시사한다.
• 표현 유사도 측정법은 종종 기능적 차이와 상관관계를 가지지 못하며, 특히 신호 대 노이즈 비율이 낮은 영역(예: 수치적 스트레스 테스트)에서 두드러진다.