[논문 리뷰] Adversarial Deep Embedded Clustering: on a better trade-off between Feature Randomness and Feature Drift

Nairouz Mrabah, Mohamed Bouguessa외 1명|arXiv (Cornell University)|2019. 09. 25.

Anomaly Detection Techniques and Applications인용 수 6

한 줄 요약

이 논문은 자동에코더 기반 클러스터링의 핵심 문제인 특징 랜덤성과 특징 드프트를 완화하기 위해 기존 복원 손실 대신 적대적 정규화를 도입함으로써, 새로운 적대적 딥 임bedded 클러스터링 모델인 ADEC를 제안한다. 이 방법은 벤치마크 데이터셋에서 최고 성능을 기록하며 안정성과 강건성을 향상시켜 민감한 하이퍼파ram터 튜닝이 필요 없게 한다.

ABSTRACT

Clustering using deep autoencoders has been thoroughly investigated in recent years. Current approaches rely on simultaneously learning embedded features and clustering the data points in the latent space. Although numerous deep clustering approaches outperform the shallow models in achieving favorable results on several high-semantic datasets, a critical weakness of such models has been overlooked. In the absence of concrete supervisory signals, the embedded clustering objective function may distort the latent space by learning from unreliable pseudo-labels. Thus, the network can learn non-representative features, which in turn undermines the discriminative ability, yielding worse pseudo-labels. In order to alleviate the effect of random discriminative features, modern autoencoder-based clustering papers propose to use the reconstruction loss for pretraining and as a regularizer during the clustering phase. Nevertheless, a clustering-reconstruction trade-off can cause the \ extit{Feature Drift} phenomena. In this paper, we propose ADEC (Adversarial Deep Embedded Clustering) a novel autoencoder-based clustering model, which addresses a dual problem, namely, \ extit{Feature Randomness} and \ extit{Feature Drift}, using adversarial training. We empirically demonstrate the suitability of our model on handling these problems using benchmark real datasets. Experimental results validate that our model outperforms state-of-the-art autoencoder-based clustering methods.

연구 동기 및 목표

• 자동에코더 기반 딥 클러스터링에서 발생하는 특징 랜덤성과 드프트의 이중 과제를 해결함으로써, 신뢰할 수 없는 의사 레이블과 충돌하는 기울기로 인해 클러스터링 성능이 저하되는 문제를 해결한다.
• 클러스터링과 복원 목표 간의 악성 상충 관계로 인해 발생하는 특징 드프트 문제를 해결함으로써, 엔드 투 엔드 훈련에서 알려진 문제를 제거한다.
• 모델의 안정성을 향상시키고, 특히 클러스터링-복원 손실에서의 균형 파ram터 γ에 대한 민감도를 줄임으로써 하이퍼파ram터 튜닝에 대한 의존도를 감소시킨다.
• 감독 신호에 의존하지 않고도 분류 가능한 특징 학습을 향상시켜 고차원적이고 고의미적인 데이터셋에서 강건한 성능을 보장한다.
• 적대적 정규화가 복원 손실보다 훈련 안정성 향상과 클러스터링 지표 향상에 더 효과적임을 검증한다.

제안 방법

• ADEC는 딥 클러스터링에서 표준 복원 손실을 적대적 손실로 대체하여, 디스크림네이터가 진짜와 생성된 잠재 표현을 구분하도록 한다.
• 모델은 클러스터링 목표와 적대적 목표를 함께 최적화함으로써 복원 손실에 대한 의존도를 줄이고 기울기 충돌을 완화한다.
• 적대적 훈련 과정은 잠재 공간을 정규화하여 클러스터링 중에 비표현적이고 랜덤한 특징이 발생하는 것을 방지한다.
• 프레임워크는 클러스터링이 수행되는 저차원 임베딩 공간을 유지하며, 의사 레이블을 생성하기 위해 소프트 할당 전략을 사용한다.
• 선형 조합인 클러스터링 및 복원 손실 대신 적대적 정규화를 도입함으로써 균형 하이퍼파ram터 γ가 필요 없도록 한다.
• 디스크림네이터는 진짜 데이터와 생성된 잠재 특징을 구분하도록 훈련되며, 인코더는 디스크림네이터를 속이도록 훈련되어 의미 있는 특징 학습을 촉진한다.

실험 결과

연구 질문

• RQ1 복원 손실에 의존하지 않고도 적대적 훈련이 딥 임베딩 클러스터링에서 특징 랜덤성을 효과적으로 감소시킬 수 있는가?
• RQ2 복원 손실을 적대적 정규화로 대체함으로써, 클러스터링과 복원 간 경쟁 기울기로 인한 특징 드프트 문제를 완화할 수 있는가?
• RQ3 벤치마크 데이터셋에서 ADEC는 ACC 및 정규화 상호정보(NMI) 측면에서 최고 수준의 방법들과 비교해 어떻게 성능을 내는가?
• RQ4 이전 방법들인 IDEC*와 비교해 ADEC는 하이퍼파ram터 튜닝, 특히 γ에 대해 덜 민감한가?
• RQ5 적대적 정규화는 훈련 중에 더 매끄럽고 안정적인 학습 곡선을 이끌 수 있는가?

주요 결과

• ADEC는 MNIST, 패션-MNIST, Reuters 데이터셋에서 최고 수준의 성능을 기록하며 ACC 및 NMI 측면에서 기존 최고 수준의 방법들을 능가한다.
• ADEC는 IDEC*와 비교해 훈련 중에 더 낮은 ΔFR 값으로 특징 랜덤성이 현저히 감소한 것으로 나타났다.
• ADEC는 높은 ΔFD 값으로 특징 드프트가 적어, 적대적 정규화가 클러스터링과 복원 목표를 더 잘 균형 잡는 것으로 나타났다.
• ADEC의 학습 곡선은 IDEC*와 비교해 더 매끄럽고 일관되게 높은 수준을 유지하며, IDEC*에서 관찰된 노이즈가 많은 곡선과는 대조된다.
• ADEC는 균형 하이퍼파ram터 γ의 세밀한 튜닝이 필요 없으며, 모든 테스트 값에서 안정성을 유지한다. 반면 IDEC*는 γ = 0.01일 때에만 만족스러운 성능을 보였다.
• 2차원 잠재 공간의 시각화 결과 ADEC는 잘 분리된 분류 가능한 클러스터를 생성함으로써 강력한 특징 학습 및 클러스터링 능력을 보여준다.