[논문 리뷰] Deep Nets: What have they ever done for Vision?

Alan Yuille, Chenxi Liu|arXiv (Cornell University)|2018. 05. 10.

Visual Attention and Saliency Detection참고 문헌 120인용 수 19

한 줄 요약

이 논문은 컴퓨터 비전 분야에서의 딥 네ural 네트워크(DNNs)를 비판적으로 평가하며, 벤치마크 데이터셋에서의 성공에도 불구하고 자연 이미지의 조합적 복잡성 문제를 해결하는 데는 부적합하다고 주장한다. 저자들은 성능 평가 방식을 재고할 것을 주장하며, 일반화 및 내성성의 한계를 극복하기 위해 조합적, 생성적, 하이브리드 신호-기호 기반 접근 방식의 필요성을 강조한다.

ABSTRACT

This is an opinion paper about the strengths and weaknesses of Deep Nets for vision. They are at the heart of the enormous recent progress in artificial intelligence and are of growing importance in cognitive science and neuroscience. They have had many successes but also have several limitations and there is limited understanding of their inner workings. At present Deep Nets perform very well on specific visual tasks with benchmark datasets but they are much less general purpose, flexible, and adaptive than the human visual system. We argue that Deep Nets in their current form are unlikely to be able to overcome the fundamental problem of computer vision, namely how to deal with the combinatorial explosion, caused by the enormous complexity of natural images, and obtain the rich understanding of visual scenes that the human visual achieves. We argue that this combinatorial explosion takes us into a regime where "big data is not enough" and where we need to rethink our methods for benchmarking performance and evaluating vision algorithms. We stress that, as vision algorithms are increasingly used in real world applications, that performance evaluation is not merely an academic exercise but has important consequences in the real world. It is impractical to review the entire Deep Net literature so we restrict ourselves to a limited range of topics and references which are intended as entry points into the literature. The views expressed in this paper are our own and do not necessarily represent those of anybody else in the computer vision community.

연구 동기 및 목표

• 딥 네럴 네트워크(DNNs)의 성능과 한계를 컴퓨터 비전 분야에서 비판적으로 평가하며, 특히 일반화 및 내성성 측면에서의 특성에 초점을 맞춘다.
• ImageNet과 같은 표준 벤치마크 데이터셋에서의 높은 성능이 객체 인식 문제를 해결했다는 가정을 도전한다.
• 데이터셋 편향의 위험과 현재 평가 방법의 한계가 실제 성능 예측에 부적절하다는 점을 부각한다.
• 현재 형태의 DNNs는 자연 이미지 이해에서 내재된 조합적 폭발 문제를 극복하기 어렵다는 점을 주장한다.
• 인간 시각 시스템의 능력에서 영감을 얻은 평가 프레임워크를 제안하며, 특히 적대적 테스트와 조합적 추론을 포함한다.

제안 방법

• 실제 시각적 환경의 복잡성을 반영하는 더 도전적인, 현실적인 벤치마크를 사용해 비전 알고리즘을 재평가할 것을 제안한다.
• 테스트 시점에 이미지를 수정하여 알고리즘의 약점을 드러내는 적대적 테스트를 권장한다.
• 신호 처리와 기호적 추론을 융합한 하이브리드 모델 개발을 제안하여 일반화 및 해석 가능성 향상을 도모한다.
• 발달 심리학 문헌의 통찰을 학습 프레임워크에 통합하여 더 민첩하고 적응 가능한 시각 이해 능력을 향상시키기를 제안한다.
• 빅데이터와 벤치마크 중심의 평가에서 벗어나 내성성과 조합적 일반화를 테스트하는 방법으로의 전환을 강조한다.
• 특히 고위험 응용 분야에서의 실제 배포 조건을 더 잘 반영하는 성능 평가 프레임워크의 필요성을 주장한다.

실험 결과

연구 질문

• RQ1 현재의 벤치마크 데이터셋이 자연 이미지 이해의 실제 복잡성과 얼마나 정확히 반영되고 있는가?
• RQ2 딥 네럴 네트워크는 훈련 데이터 분포 외부의 새로운 시각적 구성에 효과적으로 일반화할 수 있는가?
• RQ3 표준 작업에서의 높은 성능에도 불구하고 DNNs가 인간 시각 시스템의 민첩성과 적응성에 뒤지게 되는 이유는 무엇인가?
• RQ4 실제 성능을 더 잘 예측하고 모델 내 숨겨진 편향을 탐지할 수 있는 평가 프로토콜은 어떻게 설계할 수 있는가?
• RQ5 시각 인식에서 발생하는 조합적 폭발 문제를 극복하기 위해 어떤 새로운 아키텍처나 학습 철학이 필요한가?

주요 결과

• ImageNet과 같은 표준 벤치마크 데이터셋에서의 성능은 객체 인식 문제가 해결되었다는 것을 의미하지 않으며, 이는 범위가 제한되어 있고 실제 복잡성과는 다를 수 있다.
• 분포 이탈과 적대적 변형에 취약한 DNNs는 표준 테스트에서의 높은 정확도에도 불구하고 내성성이 떨어진다는 것을 보여준다.
• 자연 이미지의 변형이 기하급수적으로 증가하는 조합적 폭발 문제로 인해 현재의 평가 방식은 실제 성능 예측에 부적절하다.
• 인간 시각 시스템은 조합적이고 생성적인 과정을 통해 풍부하고 민감한 시각적 이해를 달성하지만, 현재 DNNs는 이러한 능력을 갖추지 못하고 있다.
• 충분한 검증 없이도 실생활 응용에 시각 시스템을 도입할 위험이 점점 커지고 있으며, 이는 편향과 오용에 대한 윤리적 우려를 낳고 있다.
• 저자들은 DNNs만으로는 일반적인 시각 이해를 달성하기 어렵고, 향후 발전을 위해 하이브리드, 조합적, 생성적 접근 방식이 필수적이라고 결론 내린다.