[논문 리뷰] Energy Models for Better Pseudo-Labels: Improving Semi-Supervised Classification with the 1-Laplacian Graph Energy

Angelica I. Avilés-Rivero, Nicolas Papadakis외 5명|arXiv (Cornell University)|2019. 06. 20.

Domain Adaptation and Few-Shot Learning참고 문헌 48인용 수 13

한 줄 요약

이 논문은 정규화된 그래프 1-라플라시안 기반의 비연속 ℓ₁-노름 에너지 모델을 활용하여 더 신뢰할 수 있는 가짜 레이블을 생성하는 새로운 하이브리드 준지도 학습 프레임워크인 CREPE를 제안한다. 이론적 분석을 통해 수렴성을 입증하고 자연 및 의료 영상 벤치마크에서 뛰어난 성능을 보이며, 명시적인 불확실성 제어를 통해 가짜 레이블 품질을 향상시켜 최신 기술 수준(SOTA)의 성과를 달성한다.

ABSTRACT

Semi-supervised classification is a great focus of interest, as in real-world scenarios obtaining labels is expensive, time-consuming and might require expert knowledge. This has motivated the fast development of semi-supervised techniques, whose performance is on a par with or better than supervised approaches. A current major challenge for semi-supervised techniques is how to better handle the network calibration and confirmation bias problems for improving performance. In this work, we argue that energy models are an effective alternative to such problems. With this motivation in mind, we propose a hybrid framework for semi-supervised classification called CREPE model (1-Lapla$\\mathbf{C}$ian g$\\mathbf{R}$aph $\\mathbf{E}$nergy for $\\mathbf{P}$seudo-lab$\\mathbf{E}$ls). Firstly, we introduce a new energy model based on the non-smooth $\\ell_1$ norm of the normalised graph 1-Laplacian. Our functional enforces a sufficiently smooth solution and strengthens the intrinsic relation between the labelled and unlabelled data. Secondly, we provide a theoretical analysis for our proposed scheme and show that the solution trajectory does converge to a non-constant steady point. Thirdly, we derive the connection of our energy model for pseudo-labelling. We show that our energy model produces more meaningful pseudo-labels than the ones generated directly by a deep network. We extensively evaluate our framework, through numerical and visual experiments, using six benchmarking datasets for natural and medical images. We demonstrate that our technique reports state-of-the-art results for semi-supervised classification.

연구 동기 및 목표

• 가짜 레이블링에서 네트워크 校정 및 확인 편향 문제를 다루기 위한 현재 준지도 학습 방법의 한계를 해결하기 위해.
• 직접적인 딥 네트워크 출력보다 더 높은 품질의 가짜 레이블을 향상시키기 위한 더 견고한 에너지 기반 기능을 개발하기 위해.
• 딥 러닝과 체계적인 에너지 최소화를 융합한 이론적으로 탄탄한 하이브리드 모델을 제공하여 일반화 성능을 향상시키기 위해.
• 다양한 데이터셋, 특히 복잡한 의료 영상까지 포함하여 제안된 프레임워크의 일반화 능력을 입증하기 위해.

제안 방법

• 정규화된 그래프 1-라플라시안 기반의 ℓ₁ 노름에 기반한 새로운 에너지 모델을 도입하여 레이블이 있는 데이터와 없는 데이터 간의 관계를 강화하고 스무스함을 보장한다.
• 에너지 모델의 해 경로가 비상수 안정 상태로 수렴한다는 것을 증명하는 수렴 분석을 유도한다.
• 에너지 모델과 가짜 레이블링 간의 이론적 연결을 수립하여, 직접 네트워크 예측보다 더 의미 있는 가짜 레이블을 생성함을 보여준다.
• 딥 네트워크의 예측을 개선하기 위해 에너지 모델을 활용하는 하이브리드 프레임워크를 적용하여 레이블 신뢰도와 불확실성 추정을 향상시킨다.
• 에너지 기반 기능 내 데이터의 내재적 구조 모델링을 향상시키기 위해 신중하게 선택된 클래스 사전 확률를 활용한다.
• ChestX-ray14 및 CBIS-DDSM를 포함한 6개의 벤치마크 데이터셋에 프레임워크를 적용하여 자연 및 의료 영상에서의 성능을 검증한다.

실험 결과

연구 질문

• RQ1 비연속 ℓ₁-노름 기반의 그래프 에너지 모델은 준지도 학습에서 가짜 레이블의 신뢰성 향상에 기여하는가?
• RQ2 제안된 에너지 모델은 기존의 에너지 기반 접근법에 비해 더 나은 수렴성과 안정성을 보이는가?
• RQ3 이론적으로 탄탄한 에너지 모델의 통합은 직접적인 딥 네트워크 출력에 비해 가짜 레이블 품질을 어떻게 향상시키는가?
• RQ4 제안된 프레임워크는 자연 영상 외부의 복잡한 의료 영상과 같은 다양한 데이터 분포에 얼마나 잘 일반화되는가?

주요 결과

• 제안된 CREPE 프레임워크는 자연 및 의료 영상까지 포함한 6개의 벤치마크 데이터셋에서 준지도 영상 분류 과제에서 최신 기술 수준(SOTA)의 성능을 달성한다.
• ChestX-ray14 및 CBIS-DDSM 의료 데이터셋에서, 모든 레이블 비율에서 기준 LGC 방법 대비 AUC가 10%에서 16% 향상된다.
• 에너지 모델의 해 경로가 비상수 안정 상태로 수렴함을 확인하여 이론적 안정성과 견고성을 입증한다.
• 직접적인 딥 네트워크 출력에 의존하는 방법들과 달리, 예측 불확실성을 명시적으로 제어함으로써 더 뛰어난 가짜 레이블 품질을 보여준다.
• 오래된 에너지 모델을 사용하는 기존의 하이브리드 기법보다도 성능이 뛰어나며, 준지도 분류 과제에서 새로운 SOTA 기록을 수립한다.
• 복잡한 의료 영상 데이터에 대해서도 잘 일반화됨을 보이며, 자연 영상 분야를 넘어선 견고성과 적용 가능성의 잠재력을 입증한다.