[논문 리뷰] On the Blindspots of Convolutional Networks

Elad Hoffer, Shai Fine외 1명|arXiv (Cornell University)|2018. 02. 14.

Adversarial Robustness in Machine Learning참고 문헌 24인용 수 5

한 줄 요약

이 논문은 합성곱 신경망(ConvNets)이 구조적 시각각을 지닌다는 것을 드러낸다—최고의 성능를 기록하고도, 간단한 모델이 쉽게 탐지할 수 있는 특정한 전역적, 저차원적, 또는 고도로 인코딩된 신호를 포착하지 못하기 때문이다. 저자들은 ConvNets에 의해 인식되지 않지만 분류에 유용한 진실을 드러내는 신호(예: 한 픽셀 패턴, 길이 인코딩)를 주입함으로써, 기존의 모델들인 로지스틱 회귀나 랜덤 포레스트가 이러한 신호가 존재할 경우 ConvNets를 능가함을 보여주며, 특징 선택 및 불변성 메커니즘의 한계를 드러낸다.

ABSTRACT

Deep convolutional network has been the state-of-the-art approach for a wide variety of tasks over the last few years. Its successes have, in many cases, turned it into the default model in quite a few domains. In this work, we will demonstrate that convolutional networks have limitations that may, in some cases, hinder it from learning properties of the data, which are easily recognizable by traditional, less demanding, models. To this end, we present a series of competitive analysis studies on image recognition and text analysis tasks, for which convolutional networks are known to provide state-of-the-art results. In our studies, we inject a truth-revealing signal, indiscernible for the network, thus hitting time and again the network's blind spots. The signal does not impair the network's existing performances, but it does provide an opportunity for a significant performance boost by models that can capture it. The various forms of the carefully designed signals shed a light on the strengths and weaknesses of convolutional network, which may provide insights for both theoreticians that study the power of deep architectures, and for practitioners that consider applying convolutional networks to the task at hand.

연구 동기 및 목표

• 표준 벤치마크에서 높은 성능를 기록하고도 특정 데이터 신호를 포착하지 못하는 합성곱 신경망(ConvNets)의 구조적 한계를 특정하고 이를 입증하는 것.
• 왜 ConvNets가 간단한 모델이 쉽게 포착할 수 있는 매우 유용한 국소적이지 않은 또는 저차원의 특징을 활용하지 못하는지 조사하는 것.
• ConvNets에 의해 인식되지 않지만 단순한 모델에서 성능 향상을 이끄는 진실을 드러내는 신호가 주입되었을 때, ConvNet의 성능를 기존 모델(예: 로지스틱 회귀, 랜덤 포레스트)과 비교하는 것.
• ConvNets의 불변성 및 풀링 메커니즘에서 중요한 전역적 또는 구조적 데이터 특성을 억압하는 원인을 밝혀내는 것.
• 데이터 전처리나 인코딩 이후 이러한 시각각이 발생할 수 있어, 이로 인해 ConvNets가 부적절할 수 있는 경우를 실무자들이 평가하는 데 도움을 주는 통찰을 제공하는 것.

제안 방법

• 원본 레이블이나 네트워크 아키텍처를 변경하지 않은 채 이미지 및 텍스트 데이터셋에 진실을 드러내는 신호(예: 한 픽셀 패턴, 노이즈 인코딩, 길이 인코딩, 기억 인코딩)를 주입하는 것.
• 이미지 데이터용과 텍스트 데이터용 두 가지 별개의 ConvNet 아키텍처를 사용: 이미지 데이터는 픽셀 격자에 대한 공간적 합성곱을, 텍스트 데이터는 원-핫 인코딩된 시퀀스에 대한 시간적 합성곱을 사용하며, 양쪽 모두 수정 없이 훈련된다.
• 전역적으로 정보적이지만 ConvNets에 구조적으로 보이지 않는 신호를 설계함—예를 들어 이미지에서 직교 노이즈 또는 텍스트에서 길이 기반 인코딩—이는 자연스러운 데이터에서는 드물지만 실제 세계의 자료에서는 타당성이 있다.
• 같은 데이터에서 진실을 드러내는 신호가 주입되었을 때와 아닐 때, ConvNets와 기존 모델(예: 로지스틱 회귀, 랜덤 포레스트, 결정 트리)의 성능를 비교하여 숨겨진 정보의 영향을 분리 분석하는 것.
• 합성곱 특징 생성과 풀링 기반 특징 선택 간의 상호작용을 분석하며, 특히 이동 및 스케일에 대한 불변성이 공간적 또는 시간적 위치에 따라 인코딩된 신호를 억압할 수 있는 방식을 다루는 것.
• 진실을 드러내는 신호만 남아 있는 추상화 실험을 수행하여, 경쟁 특징이 제거되었을 때 ConvNets가 그 신호를 학습할 수 있는지 테스트하는 것.

실험 결과

연구 질문

• RQ1 왜 ConvNets는 매우 예측력이 높은 신호이지만, 간단한 모델이 쉽게 포착할 수 있는 전역적 또는 저차원적 신호를 활용하지 못하는가, 즉 성능가장 우수한 벤치마크에서도 말이다?
• RQ2 전역적 또는 시간적 위치에 의존하는 신호에 대해, 이동 및 스케일 불변성 등의 구조적 불변성이 성능에 얼마나 해로운가?
• RQ3 합성곱 및 풀링 연산에 의해 보이지 않는 방식으로 인코딩된 핵심 정보가 있을 경우, 깊이가 얕은 비딥 모델이 딥 ConvNets를 능가할 수 있는가?
• RQ4 데이터 전처리 방법(예: 원-핫 인코딩, 스펙트로그램 변환)이 특징을 왜곡하거나 숨기면서 ConvNet의 시각각을 유도하거나 악화시키는 방식은 어떠한가?
• RQ5 특징 생성(Convolution)과 특징 선택(Pooling) 간의 상호작용이 네트워크가 특정한 정보적 패턴을 탐지하지 못하는 데 어떤 역할을 하는가?

주요 결과

• 로지스틱 회귀나 랜덤 포레스트가 쉽게 탐지할 수 있는 한 픽셀 또는 패턴 기반의 신호는, 조건이 완벽하게 예측 가능하고 네트워크에 의해 인식되지 않더라도 ConvNets가 이를 활용하지 못했다.
• 텍스트 분류에서 문장 길이를 특징으로 하는 길이 인코딩 신호는 ConvNets에 의해 완전히 무시되었지만, 단순한 모델은 이를 통해 ConvNet 성능를 뛰어넘었다.
• 모든 다른 특징을 제거하고 진실을 드러내는 신호만 남아 있을 경우, ConvNets는 완벽한 정확도를 달성하여, 경쟁 특징이 없을 경우 그 신호를 학습할 수 있음을 보여주었다.
• 정보적 신호가 저차원적이거나 전역적인 경우, 얕은 네트워크가 깊은 ConvNets를 능가했다. 이는 더 깊은 아키텍처가 불변성 메커니즘으로 인해 신호 탐지에 간섭할 수 있음을 시사한다.
• 이러한 시각각은 이미지와 텍스트의 서로 다른 도메인에서도 동일하게 나타나, 데이터 특이적 현상이 아니라 근본적인 구조적 한계임을 시사한다.
• 진실을 드러내는 신호가 존재할 경우, 로지스틱 회귀나 랜덤 포레스트와 같은 기존 모델은 표준 벤치마크에서 열 劣한 성능를 보였음에도 불구하고 ConvNets보다 훨씬 뛰어난 성능를 보였다.