[논문 리뷰] Radio Galaxy Zoo: Using semi-supervised learning to leverage large unlabelled data-sets for radio galaxy classification under data-set shift

Inigo Val Slijepcevic, Anna M. M. Scaife외 5명|arXiv (Cornell University)|2022. 04. 19.

Galaxies: Formation, Evolution, Phenomena참고 문헌 61인용 수 33

한 줄 요약

이 논문은 반감독학습(SSL) 기법인 FixMatch를 이용해 은하 분류에 대해 평가하며, 제한된 레이블이 있는 경우 정확도를 향상시키지만 데이터 분포 이질성(데이터셋 이질성)이 발생할 경우 성능이 떨어지는 것으로 나타났다. 정규화의 이점에도 불구하고, 레이블이 없는 데이터가 다른 카탈로그에서 온 경우 클래스 불균형과 사전 확률 이질성로 인해 성능 저하가 심각하게 발생하여, 도메인 특화 보정이 없는 한 SSL의 실용적 활용 가능성이 제한된다.

ABSTRACT

In this work we examine the classification accuracy and robustness of a state-of-the-art semi-supervised learning (SSL) algorithm applied to the morphological classification of radio galaxies. We test if SSL with fewer labels can achieve test accuracies comparable to the supervised state-of-the-art and whether this holds when incorporating previously unseen data. We find that for the radio galaxy classification problem considered, SSL provides additional regularisation and outperforms the baseline test accuracy. However, in contrast to model performance metrics reported on computer science benchmarking data-sets, we find that improvement is limited to a narrow range of label volumes, with performance falling off rapidly at low label volumes. Additionally, we show that SSL does not improve model calibration, regardless of whether classification is improved. Moreover, we find that when different underlying catalogues drawn from the same radio survey are used to provide the labelled and unlabelled data-sets required for SSL, a significant drop in classification performance is observered, highlighting the difficulty of applying SSL techniques under dataset shift. We show that a class-imbalanced unlabelled data pool negatively affects performance through prior probability shift, which we suggest may explain this performance drop, and that using the Frechet Distance between labelled and unlabelled data-sets as a measure of data-set shift can provide a prediction of model performance, but that for typical radio galaxy data-sets with labelled sample volumes of O(1000), the sample variance associated with this technique is high and the technique is in general not sufficiently robust to replace a train-test cycle.

연구 동기 및 목표

• 반감독학습(SSL)이 레이블이 제한된 경우 은하 형태 분류에서 감독학습 성능에 도달할 수 있는지 평가하는 것.
• 레이블이 있는 데이터와 레이블이 없는 데이터의 분포 차이(즉, 데이터셋 이질성)가 SSL 성능에 미치는 영향을 조사하는 것.
• 레이블이 없는 데이터가 다른 설문 카탈로그에서 온 경우, 특히 레이블이 없는 데이터의 분포가 다를 때 SSL이 모델의 캘리브레이션 또는 일반화 능력을 향상시키는지 평가하는 것.
• 공변수 이질성 하에서 SSL 모델 성능을 예측하는 데 Frechet 거리가 유용한가를 테스트하는 것.
• 반감독학습에서의 주요 실패 원인, 예를 들어 레이블이 없는 데이터의 클래스 불균형과 데이터 분포 정렬 부족을 규명하는 것.

제안 방법

• 레이블이 없는 데이터에 대해 약한 증강과 강한 증강을 적용해 가짜 레이블을 생성하는 FixMatch SSL 알고리즘을 은하 이미지에 적용한다.
• 소규모 레이블 데이터셋(MiraBest)과 대규모 레이블이 없는 데이터셋(RGZ DR1)을 기반으로 컨볼루션 신경망(CNN)을 훈련하며, 증강된 이미지 간의 일致성 정규화를 적용한다.
• 레이블이 있는 데이터와 레이블이 없는 데이터의 분포 간 Frechet 거리를 사용해 데이터셋 이질성의 지표로 삼으며, 분포의 이질성 정도를 측정한다.
• 두 경우를 비교한다: 케이스 A(레이블과 레이블이 없는 데이터의 분포가 일치하는 경우)와 케이스 B(다른 카탈로그에서 온 분포가 불일치하는 경우).
• 기대 캘리브레이션 오차(ECE)를 사용해 모델의 캘리브레이션을 평가하고, 레이블이 있는 데이터와 동일한 분포로 분포된 테스트 세트에서의 성능을 평가한다.
• 레이블 선택과 데이터 선택이 모델 성능에 미치는 영향을 분석함으로써 액티브 러닝 원리를 암묵적으로 적용한다.

실험 결과

연구 질문

• RQ1 레이블 예제 수가 매우 적을 경우 반감독학습이 감독학습 성능에 도달할 수 있는가?
• RQ2 레이블이 없는 데이터가 레이블이 있는 데이터와 다른 기초 카탈로그에서 올 경우 성능이 어떻게 저하되는가?
• RQ3 분류 정확도 향상이 이루어지더라도 반감독학습이 모델의 캘리브레이션을 향상시키는가?
• RQ4 레이블이 있는 데이터와 레이블이 없는 데이터의 분포 간 Frechet 거리가 반감독학습에서의 모델 성능을 예측할 수 있는가?
• RQ5 레이블이 없는 데이터 세트에서의 클래스 불균형이 데이터셋 이질성 하에서 성능 저하에 얼마나 기여하는가?

주요 결과

• FixMatch를 사용한 반감독학습은 레이블 수가 적을 경우 감독학습 기반선보다 테스트 정확도를 향상시키지만, 레이블 수의 범위가 매우 좁은 범위에서만 성능 향상이 이루어진다.
• 매우 낮은 레이블 수에서 성능이 급격히 저하되어 극도로 희박한 레이블링 상황에서는 유의미한 이점이 없다는 것을 시사한다.
• 정확도 향상에도 불구하고 캘리브레이션은 향상되지 않아, 신뢰도가 떨어지는 불확실성 추정이 그대로 유지됨을 시사한다.
• 레이블이 없는 데이터가 다른 카탈로그에서 올 경우 성능이 심각하게 저하되며, 이는 데이터셋 이질성의 강력한 부정적 영향을 나타낸다.
• 레이블이 없는 데이터 세트에서의 클래스 불균형은 사전 확률 이질성로 이어지며, 이는 데이터셋 이질성 하에서 성능 저하의 핵심 원인이 된다.
• Frechet 거리는 테스트 정확도와 상관관계가 있으며, 레이블이 없는 데이터 선택에 유용할 수 있지만, 높은 표본 분산으로 인해 전체 학습-테스트 루프를 대체하기에는 신뢰성이 떨어진다.