[논문 리뷰] Learning convolutional neural network to maximize Pos@Top performance measure

Yanyan Geng, Ru‐Ze Liang외 5명|arXiv (Cornell University)|2016. 09. 27.

Face and Expression Recognition참고 문헌 29인용 수 41

한 줄 요약

이 논문은 랭킹 중심 기계학습에서 핵심 메트릭인 Pos@Top 성능 측정치를 직접 최적화하는 새로운 합성곱 신경망(CNN) 프레임워크를 제안한다. 양성 인스턴스와 상위 랭크된 음성 인스턴스 간의 마진을 1로 최대화하는 힌지 손실 함수를 정의하고, 라그랑주 승수와 경사 하강법을 활용한 교대 최적화를 통해, 이미지, 텍스트, 오디오 벤치마크 전반에서 최신 기술(SOTA) 수준의 Pos@Top 성능을 달성한다. 이는 표준 CNN과 이전의 Pos@Top 최적화 선형 모델을 모두 능가한다.

ABSTRACT

In the machine learning problems, the performance measure is used to evaluate the machine learning models. Recently, the number positive data points ranked at the top positions (Pos@Top) has been a popular performance measure in the machine learning community. In this paper, we propose to learn a convolutional neural network (CNN) model to maximize the Pos@Top performance measure. The CNN model is used to represent the multi-instance data point, and a classifier function is used to predict the label from the its CNN representation. We propose to minimize the loss function of Pos@Top over a training set to learn the filters of CNN and the classifier parameter. The classifier parameter vector is solved by the Lagrange multiplier method, and the filters are updated by the gradient descent method alternately in an iterative algorithm. Experiments over benchmark data sets show that the proposed method outperforms the state-of-the-art Pos@Top maximization methods.

연구 동기 및 목표

• 기존 Pos@Top 최적화 방법의 한계를 해결하기 위해, 선형 모델에 의존하고 복잡한 다중 인스턴스 데이터에서 성능이 열 劣하는 문제를 다룬다.
• Pos@Top 측정치를 직접 최적화하는 딥 러닝 프레임워크를 개발한다. 이는 양성 인스턴스가 첫 번째 음성 인스턴스 이전에 랭크되는 정도를 평가하는 데 사용된다.
• CNN 필터와 분류기 가중치를 끝에서 끝까지 학습시켜 Pos@Top를 최대화하면서, ℓ₂ 정규화를 통해 과적합을 방지한다.
• CNN 기반 접근 방식이 표준 CNN과 이전의 Pos@Top 최적화 선형 모델을 크게 능가함을 보여준다.

제안 방법

• 모든 양성 인스턴스가 상위 랭크된 음성 인스턴스보다 낮은 점수를 받는 경우에 힌지 손실 함수를 적용하여, 마진이 1이 되도록 페널티를 주는 방식이다.
• 힌지 손실, 분류기 가중치 u와 CNN 필터 W에 대한 ℓ₂ 정규화, 그리고 마진 위반에 대한 슬랙 변수 ξi를 포함하는 목적 함수를 정의한다.
• 교대 최소화를 통해 최적화 문제를 해결한다: 분류기 가중치 u는 이중 형태와 라그랑주 승수를 사용하여 업데이트하고, CNN 필터 W는 경사 하강법을 통해 업데이트한다.
• 각 다중 인스턴스 데이터 포인트 Xi에 대해 CNN 특징 맵에 최대 풀링 연산을 적용하여 고정 크기의 표현 g(Xi)를 생성한다.
• 최적화 문제의 이중 형태를 적용하여 필터 학습을 분리함으로써, 각 필터 w_k를 경사 하강법을 사용해 별도로 업데이트할 수 있도록 한다.
• 다중 클래스 분류를 위해 one-vs-all 전략을 사용하고, 다양한 데이터 유형에서의 모델 평가를 위해 10겹 교차 검증을 적용한다.

실험 결과

연구 질문

• RQ1 비차별성이고 비선형적인 Pos@Top 성능 측정치를 직접 최대화할 수 있도록 딥 CNN 아키텍처를 효과적으로 훈련시킬 수 있는가?
• RQ2 다중 인스턴스 데이터에서 Pos@Top 최적화를 위해 최적화된 선형 모델과 비교해 CNN 기반 모델의 랭킹 성능는 어떠한가?
• RQ3 분류기와 CNN 필터 양쪽에 ℓ₂ 정규화를 적용함으로써 일반화 성능 향상과 과적합 방지가 Pos@Top 최적화에서 유의미한가?
• RQ4 제안된 교대 최적화 알고리즘이 CNN 필터와 분류기 가중치를 동시에 효과적으로 학습시키며 Pos@Top 메트릭을 최대화할 수 있는가?

주요 결과

• 제안된 CNN 기반 Pos@Top 최적화 모델은 Caltech-256(이미지), Semeval-2010(텍스트), SAD(오디오) 세 가지 벤치마크 데이터셋에서 교차 엔트로피 손실로 훈련된 표준 CNN보다 모두 뛰어난 성능을 보였다.
• 기존 최신 기술(SOTA) Pos@Top 최적화 방법들인 TopPush, AATP, InfinitePush(모두 선형 모델)보다도 평균 Pos@Top 점수가 높았다.
• 학습된 필터를 갖춘 CNN의 사용은 다중 인스턴스 데이터에 대한 더 나은 표현 학습을 가능하게 하여, 첫 번째 음성 인스턴스 이전에 양성 인스턴스가 더 잘 랭크되는 결과를 이끌어냈다.
• 이중 형태와 경사 하강법을 통한 교대 최적화 알고리즘은 다양한 데이터 모odal에서 일관된 성능 향상을 보이며 효과적임을 입증하였다.
• 분류기 가중치와 CNN 필터 양쪽에 ℓ₂ 정규화를 도입함으로써 훈련 데이터에서의 과적합 방지와 일반화 성능 향상이 뚜렷하게 향상되었다.