[논문 리뷰] Locally Smoothed Neural Networks

Liang Pang, Yanyan Lan외 3명|arXiv (Cornell University)|2017. 11. 22.

Face and Expression Recognition참고 문헌 17인용 수 3

한 줄 요약

이 논문은 국소적 수용장역할 모델링을 향상시키기 위해 국소 연결층의 가중치 행렬을 커널과 콘텐츠 및 위치 인식 스무딩 함수로 분해하는 새로운 아키텍처인 로컬리 스무딩 신경망(Locally Smoothed Neural Networks, LSNN)을 제안한다. 다변량 정규분포 함수를 사용해 스무딩 함수를 생성함으로써 LSNN은 공간적 관계성과 수용장의 콘텐츠 의존적 중요도를 포착하며, 특히 다중 관련 영역에 대한 선택적 주의가 필요한 작업에서 CNN과 국소 연결층보다 뛰어난 성능을 보인다.

ABSTRACT

Convolutional Neural Networks (CNN) and the locally connected layer are limited in capturing the importance and relations of different local receptive fields, which are often crucial for tasks such as face verification, visual question answering, and word sequence prediction. To tackle the issue, we propose a novel locally smoothed neural network (LSNN) in this paper. The main idea is to represent the weight matrix of the locally connected layer as the product of the kernel and the smoother, where the kernel is shared over different local receptive fields, and the smoother is for determining the importance and relations of different local receptive fields. Specifically, a multi-variate Gaussian function is utilized to generate the smoother, for modeling the location relations among different local receptive fields. Furthermore, the content information can also be leveraged by setting the mean and precision of the Gaussian function according to the content. Experiments on some variant of MNIST clearly show our advantages over CNN and locally connected layer.

연구 동기 및 목표

• CNN과 국소 연결층이 국소 수용장의 중요도와 공간적 관계를 모델링하는 데 한계를 보이는 문제를 해결하기 위해.
• 신경망이 콘텐츠와 공간적 맥락에 기반해 관련 이미지 영역에 동적으로 집중할 수 있도록 하기 위해.
• 불변성(예: CNN)과 유연성(예: 국소 연결층)을 균형 잡는 기계적이고 학습 가능한 메커니즘을 설계하기 위해.
• 선택적 주의가 필요한 작업, 예를 들어 시각적 질의 응답 및 혼잡한 환경에서의 다중 숫자 인식 등의 성능 향상을 위해.

제안 방법

• 국소 연결층의 가중치 행렬을 공유 커널과 스무딩 행렬의 곱으로 분해하기.
• 다변량 정규분포 함수를 사용해 스무딩 함수를 생성하여 국소 수용장 간의 공간적 근접성과 상관관계를 인코딩하기.
• 입력 콘텐츠에 기반해 평균과 정밀도를 조정하는 회귀 헤드를 활용해 콘텐츠 의존적 주의 기능을 구현하기.
• 백프로파게이션을 통해 엔드 투 엔드로 모델을 훈련시켜 스무딩 함수를 데이터로부터 학습시키기.
• 다중 객체 주의를 위해 다수의 스무딩 함수를 사용하는 방식으로 LSNN을 확장하여 각 타겟 영역에 대해 별도의 가우시안 그룹을 사용하기.
• LSNN을 CNN 프레임워크에 통합하여 분류 이전에 관련 이미지 패치에 주의를 기울일 수 있도록 하기.

실험 결과

연구 질문

• RQ1 학습 가능한 스무딩 함수가 고정된 가중치 공유 방식을 취하는 CNN보다 국소 수용장 중요도 모델링을 향상시킬 수 있는가?
• RQ2 콘텐츠 기반 스무딩 함수가 맥락적 신호에 기반해 관련 이미지 영역을 자동으로 식별할 수 있는가?
• RQ3 혼잡한 환경에서 다중 관련 영역(예: 여러 개의 숫자)을 효과적으로 주의 집중할 수 있는가?
• RQ4 구조화된 국소 특징 작업에서 LSNN이 정확도 및 일반화 능력 측면에서 CNN과 국소 연결층보다 어떻게 비교되는가?
• RQ5 다변량 정규분포를 통한 스무딩의 공간적 구조가 주의의 국소화 및 강건성 향상에 기여하는가?

주요 결과

• 혼잡한 MNIST 시퀀스 작업에서 LSNN은 6.18%의 오차율을 기록하여 국소 연결층(13.5%)과 컨볼루션층(23.97%)보다 뚜렷이 뛰어난 성능을 보였다.
• 콘텐츠 기반 스무딩 함수 덕분에 LSNN은 화살표 위치가 변하더라도 화살표가 가리키는 숫자 영역에 자동으로 집중할 수 있었다.
• 시각화 결과 LSNN의 스무딩 함수가 정확한 숫자 영역에 집중함을 확인하였으며, 주의 메커니즘이 분류 네트워크와 독립적으로 작동함을 입증하였다.
• 다중 숫자 상황에서 LSNN은 다수의 가우시안 기반 스무딩 함수를 활용해 공간적으로 관련된 세 개의 구분 가능한 숫자를 성공적으로 식별하고 주의를 기울였다.
• 공간적 스무딩과 콘텐츠 인식이 결합되어 복잡하고 혼잡한 환경에서 성능 향상이 이루어졌음을 입증하였다.
• LSNN는 CNN(동일한 스무딩 함수)과 국소 연결층(자유로운 스무딩 함수)의 일반화임을 입증하였으며, 불변성과 유연성 사이의 연속적인 트레이드오프를 제공한다.