[논문 리뷰] CortexNet: a Generic Network Family for Robust Visual Temporal Representations

Alfredo Canziani, Eugenio Culurciello|arXiv (Cornell University)|2017. 06. 08.

Visual Attention and Saliency Detection참고 문헌 17인용 수 12

한 줄 요약

CortexNet는 인간의 시각 피질을 영감으로 받아 하부에서 상향으로 향하는 피드포워드, 상부에서 하향으로 향하는 피드백, 그리고 횡방향 연결을 통합한 새로운 딥 네ural 네트워크 가족으로, 비디오에서 강력한 시간적 시각 표현을 학습한다. 비디오의 미래 프레임 예측 및 물체 추적을 위해 비지도 학습 MatchNet과 약한 지도 학습 TempoNet을 사용하며, 안정적이고 주의력 유도의 비디오 예측을 실현하여 시간적 왜곡과 적대적 노이즈에 대해 향상된 내성적 저항성을 확보한다.

ABSTRACT

In the past five years we have observed the rise of incredibly well performing feed-forward neural networks trained supervisedly for vision related tasks. These models have achieved super-human performance on object recognition, localisation, and detection in still images. However, there is a need to identify the best strategy to employ these networks with temporal visual inputs and obtain a robust and stable representation of video data. Inspired by the human visual system, we propose a deep neural network family, CortexNet, which features not only bottom-up feed-forward connections, but also it models the abundant top-down feedback and lateral connections, which are present in our visual cortex. We introduce two training schemes - the unsupervised MatchNet and weakly supervised TempoNet modes - where a network learns how to correctly anticipate a subsequent frame in a video clip or the identity of its predominant subject, by learning egomotion clues and how to automatically track several objects in the current scene. Find the project website at https://engineering.purdue.edu/elab/CortexNet/.

연구 동기 및 목표

• 인간의 시각 피질의 피드백 및 횡방향 연결을 모방하는 딥 네럴 네트워크 아키텍처를 개발하여 시간적 비디오 이해를 향상시키는 것.
• 지연된 피드백과 주의력 조절과 같은 생물학적으로 타당한 메커니즘을 통합하여 피드포워드 네트워크의 비디오 작업에서의 불안정성을 해결하는 것.
• 대규모 레이블링 데이터셋이 없는 비지도 또는 약한 지도 학습을 통해 강력한 비디오 표현 학습을 가능하게 하는 것.
• 시간적 일관성이 있는 엔드 투 엔드 학습이 안정적이고 예측 가능하며 주의력 인식 표현을 도출할 수 있는지 조사하는 것.
• 피드백 및 횡방향 연결이 비디오 입력에서 적대적 노이즈와 시간적 왜곡에 대한 저항성을 향상시키는지 확인하는 것.

제안 방법

• CortexNet는 스택된 잔차 블록을 사용하는 딥 아키텍처로, 예측 코딩에서 영감을 얻은 하향식 지연 조절 피드백과 횡방향 연결을 하향식 피드포워드 경로와 결합한다.
• 스트라이드 컨벌루션, 비선형성, 그리고 덧셈 신호 병합을 사용하여 스페이오타임 입력을 픽셀 공간 그대로 처리한다.
• 두 가지 학습 모드가 도입되었으며, 비지도 학습을 위한 다음 프레임 예측을 위한 MatchNet(비디오 인덱스 매칭 기반)과, 시간 역행 백프로파게이션(BPTT)을 통한 물체 정체성 예측을 위한 약한 지도 학습 TempoNet이다.
• 학습 목표는 픽셀 수준 재구성 손실(Lπ), 시간 일관성 손실(Lτ), 그리고 정규화 항(Lμ)을 조합하며, 안정성을 확보하기 위해 하이퍼파ram터가 조정되었다.
• 동적 주의 영역을 시각화하기 위해 시각화 알고리즘인 샐리언시 하이라이트러를 사용하여 네트워크가 예측 과정에서 시간에 따라 어디에 집중하는지 확인한다.
• 모델은 ImageNet 유사 데이터로 사전 학습하고, e-VDS35 비디오 데이터셋에서 35개 클래스 분류 헤드를 사용하여 엔드 투 엔드로 미세조정한다.

실험 결과

연구 질문

• RQ1 피드백 및 횡방향 연결을 갖춘 딥 네럴 네트워크가 표준 피드포워드 네트워크보다 더 강력하고 안정적인 시간적 시각 입력 표현을 학습할 수 있는가?
• RQ2 비디오의 시간 일관성에 기반한 비지도 학습이 강력한 지도 없이도 효과적인 다음 프레임 예측 및 물체 추적을 가능하게 하는가?
• RQ3 희소 레이블(예: 비디오 인덱스 또는 물체 클래스)을 사용한 약한 지도 학습이 안정적이고 주의력 유도의 비디오 예측을 가능하게 하는가?
• RQ4 상향식 피드백 및 횡방향 연결이 주의 메커니즘과 시간적 왜곡에 대한 저항성에 어떻게 기여하는가?
• RQ5 네트워크의 내부 표현이 특히 물체 추적 및 운동 보정에서 생물학적 시각 처리와 얼마나 유사한가?

주요 결과

• CortexNet는 TempoNet 모드에서 검증 평균제곱오차(MSE) 14.2 mMSE를 기록하며 안정적인 다음 프레임 예측을 달성하였으며, 기준 피드포워드 모델보다 뚜렷이 뛰어난 성능을 보였다.
• 네트워크는 시각화된 샐리언시 하이라이트러 알고리즘을 통해 주로 장면의 주요 물체에 집중하는 내부 주의 메커니즘을 개발하였다.
• 시간적 왜곡 조건에서도 전체 CortexNet 모델은 일관된 예측을 유지하였고, 판별 전용 브랜치는 플리커링 출력을 보였다.
• 간단한 입력 매칭 작업(Lπ ≈ 6.88 nit)에서의 성능은 미래 프레임 예측이 하층(Dn, Gn) 쌍에 의해 효과적으로 해결되었음을 시사하며, 계층적 특징 학습이 이루어졌음을 나타낸다.
• 피드백 및 횡방향 연결의 사용은 적대적 노이즈와 비디오 스트림의 운동 아티팩트에 대한 민감도를 감소시켜 더 강력하고 안정적인 표현을 제공한다.
• 35개 클래스 분류 헤드와 시간 일관성 손실을 사용한 미세조정은 일반화 능력을 향상시켰으며, 비디오 이해에서 약한 지도 학습의 효과성을 입증하였다.