[논문 리뷰] Grow and Merge: A Unified Framework for Continuous Categories Discovery

Xinwei Zhang, Jianwen Jiang외 7명|arXiv (Cornell University)|2022. 10. 09.

Text and Document Classification Technologies인용 수 14

한 줄 요약

이 논문은 지속적으로 유입되는 레이블이 없는 데이터 스트림에서 기존 클래스 성능을 유지하면서도 새로운 클래스를 탐지할 수 있도록 하는 연속적 카테고리 발견(Continuous Category Discovery, CCD)을 위한 통합 프레임워크인 Grow and Merge(GM)을 제안한다. GM은 자기지도 학습을 통한 특징 확장(Growing)과 고정된 티처 모델을 이용한 모델 통합(Merging)을 번갈아 수행하며, 기존의 최고 성능(SOTA) 방법에 비해 기억 상실을 줄이고 새로운 클래스 탐지 정확도를 향상시켜 뚜렷한 성능 향상을 보인다.

ABSTRACT

Although a number of studies are devoted to novel category discovery, most of them assume a static setting where both labeled and unlabeled data are given at once for finding new categories. In this work, we focus on the application scenarios where unlabeled data are continuously fed into the category discovery system. We refer to it as the {\bf Continuous Category Discovery} ({\bf CCD}) problem, which is significantly more challenging than the static setting. A common challenge faced by novel category discovery is that different sets of features are needed for classification and category discovery: class discriminative features are preferred for classification, while rich and diverse features are more suitable for new category mining. This challenge becomes more severe for dynamic setting as the system is asked to deliver good performance for known classes over time, and at the same time continuously discover new classes from unlabeled data. To address this challenge, we develop a framework of {\bf Grow and Merge} ({\bf GM}) that works by alternating between a growing phase and a merging phase: in the growing phase, it increases the diversity of features through a continuous self-supervised learning for effective category mining, and in the merging phase, it merges the grown model with a static one to ensure satisfying performance for known classes. Our extensive studies verify that the proposed GM framework is significantly more effective than the state-of-the-art approaches for continuous category discovery.

연구 동기 및 목표

• 지속적으로 유입되는 레이블이 없는 데이터 스트림에서 기존 클래스와 새로운 클래스가 혼합된 환경에서 새로운 카테고리를 탐지하는 실제 문제에 대응한다.
• 기존 클래스에 대한 분류 성능를 높이는 특징과 새로운 카테고리 탐지를 위한 다양성 있는 특징 간의 상충 관계를 극복한다.
• 시간이 지남에 따라 기존 클래스의 높은 성능를 유지하면서도 동적으로 새로운 클래스를 탐지할 수 있도록 한다.
• 레이블이 없는 데이터 스트림을 통한 지속적 학습에서 치명적인 기억 상실을 완화한다.
• 자기지도 학습, 모델 병합, 동적 특징 학습을 통합한 연속적 카테고리 발견을 위한 통합 프레임워크를 제안한다.

제안 방법

• 프레임워크는 자기지도 학습(SimSiam, SimCLR)과 가짜 레이블을 활용한 교차 엔트로피 손실을 사용하여 레이블이 없는 데이터로 훈련하는 성장 단계를 거치며, 특징의 다양성을 증가시킨다.
• 모델 병합 단계에서는 성장된 모델을 고정된 티처 모델과 가중 평균(EMA)을 통해 통합하여 기존 클래스 성능를 유지한다.
• 정적-동적 브랜치 아키텍처는 특징 학습을 분리한다: 정적 브랜치는 기존 클래스 지식을 유지하고, 동적 브랜치는 새로운 특징을 탐색한다.
• 발견된 새로운 카테고리의 가짜 레이블 샘플과 기존 클래스의 소량의 실제 레이블 샘플을 메모리로 사용하여 학습 안정성과 기억 상실 감소를 도모한다.
• 정적 브랜치와 동적 브랜치의 특징 간 대비 손실($\mathcal{L}_{\text{SD}}$)을 적용하여 지식 정렬과 동시에 다양성 유지에 기여한다.
• 병합 단계에서의 걸러내기 메커니즘은 가짜 레이블 샘플을 필터링하고 개선하여 정확도와 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 통합 프레임워크는 지속적인 데이터 스트림에서 기존 카테고리의 분류 성능와 새로운 카테고리 탐지 간의 균형을 효과적으로 유지할 수 있는가?
• RQ2 기존 클래스 성능를 떨어뜨리지 않고 새로운 카테고리 탐지에 적합한 특징 다양성을 체계적으로 증가시킬 수 있는가?
• RQ3 자기지도 학습과 모델 병합을 조합함으로써 지속적 카테고리 발견에서 치명적인 기억 상실을 줄일 수 있는가?
• RQ4 EMA, 대비 손실, 걸러내기 메커니즘 등 다양한 구성 요소가 GM 프레임워크의 총합 성능에 기여하는 방식은 어떠한가?
• RQ5 혼합된 기존 및 알려지지 않은 클래스가 포함된 실제 CCD 시나리오에서 제안된 프레임워크가 기존 방법을 능가하는가?

주요 결과

• GM 프레임워크는 테스트 세트에서 평균 F1 스코어 9.87 ± 0.25와 평균 탐지 정확도 35.97 ± 1.28을 기록하여 SOTA 기준선을 크게 앞서 간다.
• 제거 실험 결과, EMA와 $\mathcal{L}_{\text{SD}}$를 함께 사용할 경우 EMA만 사용할 때보다 더 부드러운 훈련과 높은 성능를 확보한다.
• WTA + $\mathcal{L}_{\text{SD}}$ + SimSiam를 적용한 성장 단계가 최적의 균형을 이끌어내며, 탐지 정확도 34.81 ± 1.06를 달성한다.
• CE + 가짜 레이블링(PLL)을 사용한 병합 단계가 기존 클래스 성능(F1: 8.83 ± 0.30)에서 가장 뛰어나 다른 병합 전략을 압도한다.
• 정적-동적 브랜치 또는 $\mathcal{L}_{\text{SD}}$를 제거할 경우 성능에 심각한 하락이 발생하여, 이들이 특징 정렬과 안정성 유지를 위해 핵심적인 역할을 한다는 점을 확인한다.
• 병합 단계에서의 걸러내기 메커니즘은 강건성을 향상시키며, CCR 및 CR 변종은 걸러내기 없이 비교해 F1 오차를 최대 1.5%까지 감소시킨다.