[논문 리뷰] Training Deep Networks with Structured Layers by Matrix Backpropagation

Catalin Ionescu, Orestis Vantzos외 1명|arXiv (Cornell University)|2015. 09. 25.

Advanced Neural Network Applications참고 문헌 48인용 수 47

한 줄 요약

이 논문은 정규화 컷과 2차 풀링과 같은 구조적이고 글로벌 레이어를 갖춘 딥 네트워크의 엔드 투 엔드 훈련을 가능하게 하는 수학적 프레임워크인 행렬 역전파를 소개한다. 고도로 일반화된 역전파를 애드조이ント 행렬 변형을 통해 적용함으로써, 매트릭스 함수를 통한 효율적이고 미분 가능한 계산이 가능해지며, 이는 BSDS 및 MSCOCO와 같은 이미지 세그멘테이션 벤치마크에서 표준 딥 네트워크보다 향상된 성능을 보인다.

ABSTRACT

Deep neural network architectures have recently produced excellent results in a variety of areas in artificial intelligence and visual recognition, well surpassing traditional shallow architectures trained using hand-designed features. The power of deep networks stems both from their ability to perform local computations followed by pointwise non-linearities over increasingly larger receptive fields, and from the simplicity and scalability of the gradient-descent training procedure based on backpropagation. An open problem is the inclusion of layers that perform global, structured matrix computations like segmentation (e.g. normalized cuts) or higher-order pooling (e.g. log-tangent space metrics defined over the manifold of symmetric positive definite matrices) while preserving the validity and efficiency of an end-to-end deep training framework. In this paper we propose a sound mathematical apparatus to formally integrate global structured computation into deep computation architectures. At the heart of our methodology is the development of the theory and practice of backpropagation that generalizes to the calculus of adjoint matrix variations. The proposed matrix backpropagation methodology applies broadly to a variety of problems in machine learning or computational perception. Here we illustrate it by performing visual segmentation experiments using the BSDS and MSCOCO benchmarks, where we show that deep networks relying on second-order pooling and normalized cuts layers, trained end-to-end using matrix backpropagation, outperform counterparts that do not take advantage of such global layers.

연구 동기 및 목표

• 정규화 컷과 고차 풀링과 같은 구조적이고 글로벌 행렬 연산을 포함하는 딥 신경망의 엔드 투 엔드 훈련을 가능하게 하기 위해.
• 애드조이ント 행렬 변형을 사용한 매트릭스 함수에 대한 역전파의 일반화를 체계화하기 위해.
• 시각 인식 작업에서 구조적 레이어를 딥 아키텍처에 통합할 경우의 실현 가능성과 성능 향상을 입증하기 위해.
• 딥 러닝에서 스펙트럼 및 비선형 매트릭스 연산을 미분할 수 있는 엄밀한 수학적 기반을 제공하기 위해.

제안 방법

• 애드조이ント 행렬 변형의 미적분학을 기반으로 한 행렬 일반화된 역전파를 개발하여, 구조적 매트릭스 함수를 통한 기울기 계산을 가능하게 한다.
• 두 가지 핵심 구조적 레이어에 이 프레임워크를 적용한다: 로그-공분산 기술자에 기반한 2차 풀링과 이미지 세그멘테이션을 위한 정규화 컷.
• 행렬 내적과 항등식(예: 프로베니우스 노름, 하다드 곱)을 사용하여 스펙트럼 및 비선형 연산의 분석 기울기를 유도한다.
• 행렬 로그와 고유값 분해와 같은 매트릭스 함수의 기울기의 폐쇄형 표현식을 유도한다.
• MATLAB에서 이 방법을 구현하고 실시간 추론(초당 2~3장의 이미지)을 위한 GPU에서 검증한다.
• 구조적 레이어를 딥 네트워크 아키텍처에 통합하여 국소 컨볼루션 레이어와 글로벌 매트릭스 레이어의 공동 최적화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 정규화 컷과 2차 풀링과 같은 글로벌이고 구조적인 매트릭스 연산은 엔드 투 엔드 딥 러닝 프레임워크에 통합될 수 있는가?
• RQ2 매트릭스 값 함수와 그 변형을 다룰 수 있는 방식으로 역전파를 어떻게 일반화할 수 있는가?
• RQ3 고정되거나 수작업으로 설정된 대안 대비, 구조적 레이어를 학습시키는 것이 세그멘테이션 성능에 어떤 영향을 미치는가?
• RQ4 제안된 행렬 역전파 방법은 비선형 및 스펙트럼 매트릭스 연산을 통해 기울기를 효율적으로 계산할 수 있는가?

주요 결과

• 행렬 역전파를 적용한 딥 네트워크는 BSDS 및 MSCOCO 벤치마크에서 표준 대비 우수한 성능을 보이며, 특히 이미지 세그멘테이션 작업에서 두각을 나타낸다.
• 2차 풀링과 정규화 컷 레이어의 통합은 세그멘테이션 결과의 정량적·정성적 향상에 상당한 기여를 한다.
• 훈련 중 유사도 매트릭스의 랭크 감소와 성능 향상 간의 상관관계가 관찰되어 글로벌 구조의 효과적인 학습이 이루어지고 있음을 시사한다.
• 이 방법은 타이탄 Z GPU에서 약 2~3장의 이미지씩 실시간 훈련 및 추론을 가능하게 하여 실용적 실현 가능성과 함께 입증되었다.
• 제안된 프레임워크는 국소 레이어와 글로벌 레이어 양쪽 모두를 통해 분석 기울기 계산을 지원하며, 엔드 투 엔드 미분 가능성을 유지한다.
• 실험 결과, 예측된 유사도 매트릭스의 랭크가 초기에 진짜값과 가까운 경우 랭크 감소가 발생하고 이는 세그멘테이션 정확도 향상과 관련이 있음을 확인하였다.