[논문 리뷰] Ranking Deep Learning Generalization using Label Variation in Latent Geometry Graphs

Carlos Lassance, Louis Béthune외 3명|arXiv (Cornell University)|2020. 11. 25.

Advanced Graph Neural Networks참고 문헌 12인용 수 4

한 줄 요약

이 논문은 깊이 신경망의 일반화 측도를 잠재 기하 구조 그래프(Latent Geometry Graphs, LGGs)와 레이블 변동성(label variation)을 사용하여 제안하며, NeurIPS 2020 PGDL 경쟁에서 3등을 기록했다. 중간층 표현에서 유사도 기반 그래프를 구성하고, 서로 다른 클래스에 속한 샘플 간의 간선 가중치 합인 레이블 변동성을 측정함으로써, 분류 작업과 잠재 공간의 정렬 정도를 수량화함으로써 검증 세트가 필요 없이도 일반화 성능에 대한 강력한 대체 지표를 제공한다.

ABSTRACT

Measuring the generalization performance of a Deep Neural Network (DNN) without relying on a validation set is a difficult task. In this work, we propose exploiting Latent Geometry Graphs (LGGs) to represent the latent spaces of trained DNN architectures. Such graphs are obtained by connecting samples that yield similar latent representations at a given layer of the considered DNN. We then obtain a generalization score by looking at how strongly connected are samples of distinct classes in LGGs. This score allowed us to rank 3rd on the NeurIPS 2020 Predicting Generalization in Deep Learning (PGDL) competition.

연구 동기 및 목표

• 검증 세트가 없는 딥러닝 일반화 성능의 대체 지표를 개발하기 위해.
• 기존 검증 기반 일반화 추정 방식의 한계를 해결하기 위해, 이는 훈련 데이터를 감소시키고 모델 성능을 떨어뜨릴 수 있기 때문이다.
• 잠재 공간 기하 구조가 LGG를 통해 캡처될 수 있으며, 이가 일반화 능력의 신뢰할 수 있는 지표가 될 수 있는지 탐구하기 위해.
• 믹스업 증강 데이터를 통합하여 다양한 아키텍처와 하이퍼파라미터에 걸쳐 일반화 예측의 안정성을 향상시키기 위해.
• 실제 테스트 성능과 강하게 상관관계를 가지며 오버피팅 아티팩트를 최소화하는 일반화 점수를 식별하기 위해.

제안 방법

• 중간층 표현의 유사도를 기반으로 데이터 샘플을 연결하여 잠재 기하 구조 그래프(Latent Geometry Graphs, LGGs)를 구성하며, 코사인 또는 RBF 유사도 커널을 사용한다.
• k-최근접 이웃 임계값을 적용하여 희박하고 국소적으로 연결된 그래프를 생성하며, 필요에 따라 도수 행렬을 사용해 대칭화 및 정규화할 수 있다.
• 레이블 변동성을 그래프 라플라시안과 레이블 신호의 곱의 트레이스로 정의하여, 서로 다른 클래스에 속한 샘플 간의 총 간선 가중치를 측정한다.
• 믹스업 증강된 훈련 샘플을 사용하여 더 강건한 LGG를 생성함으로써, 일반화 점수의 오버피팅 편향을 줄인다.
• 여러 개의 LGG(|G|)에 대한 레이블 변동성 중앙값을 계산하여 최종 점수의 안정성 향상과 분산 감소를 도모한다.
• 주요 일반화 대체 지표로 LGG, 레이블 변동성, 믹스업 증강을 통합한 '클래스별 중앙값 변동성(Variation Per Class Median, VPM)' 점수를 도입한다.

실험 결과

연구 질문

• RQ1 잠재 기하 구조 그래프에서의 레이블 변동성이 검증 세트가 없는 신뢰할 수 있는 딥러닝 일반화 대체 지표로 기능할 수 있는가?
• RQ2 믹스업 증강된 데이터를 통합할 경우, 다양한 아키텍처에서 레이블 변동성 점수의 안정성과 일반화 능력이 어떻게 향상되는가?
• RQ3 여러 LGG 기반 레이블 변동성 점수의 중앙값이 공개 세트와 개발 세트 간의 일관성을 향상시키고 분산을 줄이는가?
• RQ4 유사도 커널 및 k-NN 임계값 설정과 같은 다양한 LGG 구축 전략이 실제 일반화 성능과의 상관관계에 어떻게 영향을 미치는가?
• RQ5 검증 세트가 필요 없이 다양한 네트워크 아키텍처와 훈련 하이퍼파라미터에 걸쳐 제안된 방법이 얼마나 잘 일반화되는가?

주요 결과

• 제안된 VPM(Variation Per Class Median) 점수는 NeurIPS 2020 PGDL 경쟁 최종 세트에서 평균 점수 9.99점을 기록하여 24개의 제출 중 3등을 차지했다.
• VPM 점수는 공개 세트에 대해 과적합 경향이 있는 기준 점수인 VR(Variation Rate)와 WCV(Weighted Class Variation)에 비해 공개 세트와 개발 세트 성능 간 균형이 더 우수했다.
• 믹스업 증강된 샘플을 사용함으로써 레이블 변동성 지표의 일반화 능력이 크게 향상되었으며, 과적합된 모델에서의 오버피팅 아티팩트가 감소했다.
• 시간 제약으로 최종 제출에서는 하나의 LGG(|G|=1)만 사용하여 공개 세트 성능이 저하되었으며(11.22에서 6.26으로), 그래프 수를 늘일수록 정확도가 향상됨을 시사했다.
• 작업별 결과에서는 변동성이 높았으며(예: Task 8은 16.23, Task 9는 2.28), 이는 방법의 성능이 데이터 분포에 민감하며, 그래프 다양성을 증가시켜 이 분산을 완화할 수 있음을 시사한다.
• 대부분의 작업에서 시간 예산의 10% 이내로 실행되어 높은 계산 효율성과 확장성을 보이며, 다양한 작업 간 일관성 있는 성능을 달성했다.