[논문 리뷰] LaplaceNet: A Hybrid Energy-Neural Model for Deep Semi-Supervised Classification

Philip Sellars, Angelica I. Avilés-Rivero외 1명|arXiv (Cornell University)|2021. 06. 08.

Machine Learning and Data Classification참고 문헌 40인용 수 10

한 줄 요약

LaplaceNet는 깊이 있는 준지도 학습 분류를 위한 하이브리드 에너지-신경망을 제안하며, 그래프 기반의 가짜 라벨링을 라플라시안 최소화를 통해 반복적으로 개선함으로써 신경망 기반 모델을 향상시킵니다. 이로 인해 모델 복잡도가 크게 감소하고 데이터 증강에 대한 강건성이 향상되며, 최신 기술 수준(SOTA)의 성능을 달성합니다.

ABSTRACT

Semi-supervised learning has received a lot of recent attention as it alleviates the need for large amounts of labelled data which can often be expensive, requires expert knowledge and be time consuming to collect. Recent developments in deep semi-supervised classification have reached unprecedented performance and the gap between supervised and semi-supervised learning is ever-decreasing. This improvement in performance has been based on the inclusion of numerous technical tricks, strong augmentation techniques and costly optimisation schemes with multi-term loss functions. We propose a new framework, LaplaceNet, for deep semi-supervised classification that has a greatly reduced model complexity. We utilise a hybrid energy-neural network where graph based pseudo-labels, generated by minimising the graphical Laplacian, are used to iteratively improve a neural-network backbone. Our model outperforms state-of-the-art methods for deep semi-supervised classification, over several benchmark datasets. Furthermore, we consider the application of strong-augmentations to neural networks theoretically and justify the use of a multi-sampling approach for semi-supervised learning. We demonstrate, through rigorous experimentation, that a multi-sampling augmentation approach improves generalisation and reduces the sensitivity of the network to augmentation.

연구 동기 및 목표

• 대규모 데이터셋에 대한 레이블링의 높은 비용과 복잡도를 줄이기 위해 광범위한 레이블 데이터 의존도를 감소시키기 위해.
• 성능을 유지하거나 향상시키면서도 딥 준지도 학습에서 모델 복잡도를 감소시키기 위해.
• 강력한 데이터 증강을 다중 샘플링 전략과 결합했을 때 이론적으로 타당성을 제시하고 실험적으로 검증하기 위해.
• 준지도 신경망의 일반화 능력을 향상시키고 증강에 대한 민감도를 감소시키기 위해.

제안 방법

• 프레임워크는 신경망 기반 모델과 에너지 기반 모델을 결합하며, 그래프 라플라시안을 사용해 미레이블 데이터로부터 가짜 라벨을 생성합니다.
• 가짜 라벨은 그래프 라플라시안을 최소화함으로써 반복적으로 개선되며, 이는 데이터 다양체 상에서의 매끄러움을 장려합니다.
• 강력한 증강에 대한 예측 안정성을 확보하기 위해 다중 샘플링 전략을 사용해 신경망을 종단 간(end-to-end)으로 훈련합니다.
• 에너지 최소화가 라벨 전파와 모델 최적화를 이끄는 하이브리드 에너지-신경 아키텍처를 활용합니다.
• 다중 항 손실 함수를 피하기 때문에 훈련 복잡도가 감소하지만 성능는 유지됩니다.
• 이 방법은 반복적으로 적용되어 훈련 에포크 동안 가짜 라벨 품질과 모델 일반화 능력이 향상됩니다.

실험 결과

연구 질문

• RQ1 하이브리드 에너지-신경 모델은 성능을 훼손하지 않으면서도 딥 준지도 학습에서 모델 복잡도를 줄일 수 있는가?
• RQ2 라플라시안 최소화를 통한 그래프 기반 가짜 라벨링은 준지도 설정에서 일반화 능력을 어떻게 향상시키는가?
• RQ3 강력한 데이터 증강을 다중 샘플링 전략과 결합했을 때 이론적 및 실험적 영향은 무엇인가?
• RQ4 다중 샘플링 전략은 증강에 대한 민감도를 감소시키고 강건성을 향상시킬 수 있는가?

주요 결과

• LaplaceNet는 기존 방법들과 비교해 상당히 감소된 모델 복잡도로 여러 벤치마크 데이터셋에서 최신 기술 수준(SOTA)의 성능을 달성합니다.
• 그래프 라플라시안 기반의 가짜 라벨링은 표준 일致성 정규화보다 더 안정적이고 정확한 라벨 전파를 이룹니다.
• 다중 샘플링 증강 전략은 일반화 능력을 향상시키고 증강 하이퍼파rameter에 대한 민감도를 감소시킵니다.
• 복잡한 다중 항 손실 함수 없이도 이 프레임워크는 표준 준지도 학습 벤치마크에서 기존 SOTA 방법들을 능가합니다.