[논문 리뷰] Learning a Neural-network-based Representation for Open Set Recognition

Mehadi Hassen, Philip K. Chan|arXiv (Cornell University)|2018. 02. 12.

Anomaly Detection Techniques and Applications인용 수 8

한 줄 요약

이 논문은 동일 클래스의 인스턴스를 가깝게 클러스터링하고, 다른 클래스의 인스턴스를 멀리 떼어내는 신경망 기반 표현 학습 방법을 제안한다. 이는 효과적인 오픈 세트 인식을 가능하게 한다. 새로운 손실 함수를 도입하여 학습과 추론 시의 거리 측도를 일치시킴으로써, 기준 모델 및 OpenMax보다 통계적으로 유의미한 성능 향상을 달성하였다. 악성코드 및 이미지 데이터셋에서 성능 향상이 확인되었다.

ABSTRACT

Open set recognition problems exist in many domains. For example in security, new malware classes emerge regularly; therefore malware classification systems need to identify instances from unknown classes in addition to discriminating between known classes. In this paper we present a neural network based representation for addressing the open set recognition problem. In this representation instances from the same class are close to each other while instances from different classes are further apart, resulting in statistically significant improvement when compared to other approaches on three datasets from two different domains.

연구 동기 및 목표

• 테스트 중에 알려지지 않은 클래스가 나타나는 오픈 세트 인식의 과제를 해결한다. 특히 악성코드 분류와 같은 보안 분야에서 중요하다.
• 기존 분류기들이 알려지지 않은 인스턴스를 알려진 클래스로 잘못 분류하는 한계를 극복한다.
• 기존 클래스 분류와 알려지지 않은 클래스 탐지 기능을 내재적으로 지원하는 딥 러닝 기반 표현을 개발한다.
• 클래스 간 거리를 최대화하고 클래스 내 밀집도를 강제함으로써, 새로운 클래스를 견고하게 탐지할 수 있는 특징 공간을 학습한다.
• 학습 및 이상치 점수 계산에 동일한 거리 함수를 사용하는 통합 프레임워크를 제공함으로써 일관성과 성능을 향상시킨다.

제안 방법

• 학습된 표현 공간에서 클래스 내 밀집도를 증진하고 클래스 간 분리도를 강화하는 새로운 손실 함수를 사용해 딥 신경망을 훈련한다.
• 학습 및 추론 모두에서 일관성을 확보하기 위해 정규화된 유클리드 거리와 코사인 거리의 가중 조합인 통합 거리 측도를 사용한다.
• 클래스 프로토타입으로부터의 거리를 기반으로, 오염 비율(0.01)에 기반한 임계값 추정 기법을 도입하여 알려지지 않은 클래스 인스턴스를 식별한다.
• 모든 레이어에 배치 정규화와 드롭아웃을 적용하여 정규화를 수행하며, 비선형 레이어에는 ReLU 활성화 함수를 사용한다.
• Adam 옵timizer를 사용해 훈련하며, 특정 하이퍼파라미터(예: 0.001 학습률, beta1=0.5, beta2=0.999)를 설정하여 MNIST에서는 5000회, Android/MS Challenge 데이터셋에서는 10,000회 반복한다.
• 비교를 위해 동일한 아키텍처에 표준 크로스 엔트로피 손실(ce), 인스턴스 단위 손실(ii), 그리고 병합 손실(ii+ce)을 적용하고, 동일한 백본을 사용한 OpenMax와의 성능을 비교한다.

실험 결과

연구 질문

• RQ1 동일 클래스의 인스턴스는 가까이, 다른 클래스의 인스턴스는 멀리 떨어지도록 표현을 학습시킬 수 있는가? 이는 오픈 세트 인식 성능 향상에 기여하는가?
• RQ2 학습과 이상치 점수 계산에 동일한 거리 함수를 사용할 경우, 별도의 측도를 사용하는 것보다 탐지 성능이 향상되는가?
• RQ3 제안된 손실 함수는 표준 크로스 엔트로피 손실 및 인스턴스 단위 손실에 비해 오픈 세트 인식 정확도에서 어떻게 비교되는가?
• RQ4 제안된 방법은 원래 훈련 데이터를 초월해 악성코드 및 이미지 인식을 포함한 다양한 도메인으로 일반화 가능한가?
• RQ5 라벨이 부여된 이상치가 필요 없이 오염 비율(0.01)에 기반한 임계값 추정 기법이 알려지지 않은 클래스 인스턴스 식별에 효과적인가?

주요 결과

• 제안된 방법은 MNIST, MS Challenge(악성코드), Android 악성코드의 세 가지 다양한 데이터셋에서 표준 크로스 엔트로피 학습 및 OpenMax보다 통계적으로 유의미한 성능 향상을 달성하였다.
• 인스턴스 단위 손실과 크로스 엔트로피 손실을 병합한 ii+ce 손실 변종이 개별 손실 및 OpenMax보다 오픈 세트 인식 성능에서 뛰어난 성능을 보였다.
• 학습 및 추론에 동일한 거리 측도를 사용함으로써, 모든 평가된 데이터셋에서 더 일관되고 신뢰할 수 있는 이상치 탐지가 가능했다.
• 폐쇄 세트 분류 성능도 유지하면서 동시에 알려지지 않은 클래스 탐지 기능을 효과적으로 제공하였다.
• 오염 비율(0.01)에 기반한 임계값 추정 기법은 추가적인 레이블이 없는 상태에서도 알려지지 않은 인스턴스를 효과적으로 식별하였다.
• 이 방법은 도메인 간 일반화 능력이 뛰어나 이미지 및 악성코드 분류 작업 모두에서 강력한 성능을 보였다.