[논문 리뷰] Convolutional Networks in Visual Environments

Alessandro Betti, Marco Gori|arXiv (Cornell University)|2018. 01. 16.

Advanced Vision and Imaging참고 문헌 17인용 수 5

한 줄 요약

이 논문은 시각 환경에서 컨volution 네트워크를 위한 새로운 비지도 학습 프레임워크를 제안하며, 최소 인지 행동 원리에 기반하여 운동 불변성을 강제하는 미분방정식을 유도함으로써, 레이블이 없는 비디오 스트림으로부터 필터를 학습한다. 이 이론은 비디오 처리를 통해 엔드 투 엔드로 특징을 발견할 수 있게 하며, 수학적 유도를 통해 비디오 세그먼트를 흐리게 하면 인지 행동이 최소화되고 안정적이고 운동 불변인 필터가 도출됨을 보여준다.

ABSTRACT

The puzzle of computer vision might find new challenging solutions when we realize that most successful methods are working at image level, which is remarkably more difficult than processing directly visual streams. In this paper, we claim that their processing naturally leads to formulate the motion invariance principle, which enables the construction of a new theory of learning with convolutional networks. The theory addresses a number of intriguing questions that arise in natural vision, and offers a well-posed computational scheme for the discovery of convolutional filters over the retina. They are driven by differential equations derived from the principle of least cognitive action. Unlike traditional convolutional networks, which need massive supervision, the proposed theory offers a truly new scenario in which feature learning takes place by unsupervised processing of video signals. It is pointed out that an opportune blurring of the video, along the interleaving of segments of null signal, make it possible to conceive a novel learning mechanism that yields the minimum of the cognitive action. Basically, while the theory enables the implementation of novel computer vision systems, it is also provides an intriguing explanation of the solution that evolution has discovered for humans, where it looks like that the video blurring in newborns and the day-night rhythm seem to emerge in a general computational framework, regardless of biology.

연구 동기 및 목표

• 대규모 레이블이 필요한 데이터가 요구되는 컴퓨터 비전 분야의 지도 학습의 근본적 한계를 해결하기 위해 생물학적으로 영감을 얻은 비지도 대안을 제안한다.
• 운동 불변성에 기반한 시각 학습의 계산 이론을 수립하며, 자연 시각에서 운동이 시각 불변성의 주요 원동력임을 주장한다.
• 최소 인지 행동에 기반한 변분 원리를 도출하여 픽셀 수준의 주석 없이도 원시 비디오에서 직접 컨볼루션 필터를 생성할 수 있도록 한다.
• 시각 특징 학습을 시각 운동의 역학과 통합하여, 광학 흐름 일관성이 자연스럽게 안정적이고 불변인 표현을 이끌어내는 방식을 보여준다.
• 인공 및 생물학적 시각 학습을 설명하는 이론적이고 계산적인 프레임워크를 제공하며, 신생아의 시각 흐림과 일주 리듬과 같은 발달 현상도 포함한다.

제안 방법

• 최소 인지 행동 원리에 기반한 라그랑주 액션 함수를 유도하여, 시간에 따른 변분 문제로서 시각 특징 학습을 모델링한다.
• 액션의 오일러-라그랑주 방정식에서 유도된 미분방정식 시스템(식 44)을 도입하여, 운동 제약 조건 하에서 특징 필터의 진화를 지배한다.
• 빛의 일관성에 기반한 광학 흐름 추정을 사용하여 비디오 프레임 간의 운동 일관성을 강제함으로써, 운동과 특징 안정성 간의 연결을 맺는다.
• 비디오의 영구 신호 세그먼트에 따라 블러링 메커니즘을 적용하여 인지 행동을 최소화함으로써, 주석 없이도 안정적인 필터 학습을 가능하게 한다.
• 액션 함수에서 유도된 시간에 따라 변화하는 계수(A(t), B(t), C(t), D(t))를 활용하여 동적 필터 적응을 모델링한다(식 45a–45e).
• 운동 불변 필터와 비운동 불변 특징을 조합한 하이브리드 시스템을 도입하여 고수준 시각 작업을 수행하며, 복합 액션 함수를 사용한다.

실험 결과

연구 질문

• RQ1 왜 인간은 소수의 예시로 시각 개념을 학습하는 데 반해, 딥 네트워크는 막대한 지도 학습이 필요한가?
• RQ2 운동 불변성이 인공 시스템에서 비지도 시각 특징 학습의 기초 원리가 될 수 있는가?
• RQ3 최소 인지 행동에 기반한 원리적인 변분 프레임워크는 원시 비디오에서 안정적이고 불변인 컨볼루션 필터를 어떻게 도출할 수 있는가?
• RQ4 비디오 흐림과 시간 분할은 인지 비용을 최소화하고 특징 발견을 가능하게 하는 데 어떤 역할을 하는가?
• RQ5 제안된 이론은 신생아의 시각 흐림과 일주 리듬과 같은 생물학적 시각 발달 현상을 설명할 수 있는가?

주요 결과

• 이론은 운동 불변성이 이동, 회전, 체적 불변성을 포함함으로써 시각 인식의 근본적인 불변성임을 보여준다.
• 유도된 오일러-라그랑주 방정식(식 44)은 운동 하에서도 안정성을 유지하는 컨볼루션 필터 학습을 위한 동적 시스템을 제공하며, 특징 일관성을 보장한다.
• 영구 신호 간격에 따라 비디오 세그먼트를 흐리게 하면 인지 행동이 최소화되며, 이는 특징 필터에 대해 안정적이고 최적의 학습 궤적을 이끈다.
• 이 프레임워크는 픽셀 수준의 레이블이나 사전 정의된 데이터셋이 없이도 비디오에서 직접 컨볼루션 필터를 비지도로 발견할 수 있도록 한다.
• 모델의 경계 조건(식 44)은 입력이 시간 T에 0일 경우 해가 도함수에만 의존함을 보여주며, 일시적인 입력에 대한 강건성을 암시한다.
• 이론은 인공 및 생물학적 시각 시스템을 통합적으로 설명하는 계산적 해법을 제공하며, 한 가지 변분 원리에 의해 발달 시각 현상과 연결된다.