[논문 리뷰] Understanding Deep Architectures using a Recursive Convolutional Network

David Eigen, Jason Tyler Rolfe외 2명|arXiv (Cornell University)|2013. 12. 06.

Domain Adaptation and Few-Shot Learning참고 문헌 22인용 수 25

한 줄 요약

이 논문은 복소 신경망의 깊이, 특징 맵 수, 파라미터 수의 독립적 영향을 재귀적 연결된 가중치 아키텍처를 사용하여 조사한다. 연구 결과, 레이어 수와 파라미터 수를 늘릴수록 성능 향상이 발생하지만, 특징 맵 차원성은 거의 영향을 미치지 않는 것으로 나타났다. 특징 맵의 대부분의 이점은 표현 능력이 아니라 파라미터 수 증가에 의해 간접적으로 발생한다.

ABSTRACT

A key challenge in designing convolutional network models is sizing them appropriately. Many factors are involved in these decisions, including number of layers, feature maps, kernel sizes, etc. Complicating this further is the fact that each of these influence not only the numbers and dimensions of the activation units, but also the total number of parameters. In this paper we focus on assessing the independent contributions of three of these linked variables: The numbers of layers, feature maps, and parameters. To accomplish this, we employ a recursive convolutional network whose weights are tied between layers; this allows us to vary each of the three factors in a controlled setting. We find that while increasing the numbers of layers and parameters each have clear benefit, the number of feature maps (and hence dimensionality of the representation) appears ancillary, and finds most of its benefit through the introduction of more weights. Our results (i) empirically confirm the notion that adding layers alone increases computational power, within the context of convolutional layers, and (ii) suggest that precise sizing of convolutional feature map dimensions is itself of little concern; more attention should be paid to the number of parameters in these layers instead.

연구 동기 및 목표

• 합성곱 신경망에서 네트워크 깊이(레이어 수), 특징 맵 차원성(특징 맵 수), 모델 용량(파라미터 수)의 독립적 기여도를 분리 분석하는 것.
• 이러한 요소들이 상호의존적이라 고립된 평가가 어려운 합성곱 신경망 아키텍처 설계의 과제를 해결하는 것.
• 고정된 파라미터 예산 하에서 레이어 수를 늘리거나 특징 맵 크기를 증가시키는 것이 성능 향상에 더 큰 기여를 하는지 규명하는 것.
• 파라미터 수를 일정하게 유지할 때 더 깊은 네트워크(특징 맵 수가 적은 경우)가 얕은 네트워크(특징 맵 수가 많은 경우)보다 성능이 뛰어나지 않는지 평가하는 것.

제안 방법

• 모든 레이어에서 동일한 필터 가중치를 공유하는 재귀적 합성곱 신경망을 설계하여, 모든 레이어가 동일한 아키텍처를 가지도록 한다.
• 이 연결된 모델을 통해 파라미터 수와 레이어 수를 제어하면서 특징 맵 수를 변화시켜 각 요소의 고립된 분석을 가능하게 한다.
• CIFAR-10 및 SVHN 데이터셋에서 연결된 모델과 연결되지 않은 모델을 각각 학습하고 평가하여 제어 조건 하에서 성능를 비교한다.
• 세 가지 제어 실험을 수행한다: (1) 특징 맵 수를 고정하고 레이어 수와 파라미터 수를 변화시킴; (2) 레이어 수와 특징 맵 수를 고정하고 파라미터 수를 변화시킴; (3) 레이어 수와 파라미터 수를 고정하고 특징 맵 수를 변화시킴.
• 각 실험에서 연결된 모델과 연결되지 않은 모델 간의 성능 차이를 선형 회귀를 사용해 정량화하여 각 아키텍처 요소의 상대적 영향을 평가한다.
• 첫 번째 레이어 이후 최대 풀링을 적용하고, 전체적으로 ReLU 활성화 함수를 사용하여 표준 CNN 관행과 일관성을 유지한다.

실험 결과

연구 질문

• RQ1 합성곱 신경망의 레이어 수를 늘릴 경우, 파라미터 수나 특징 맵 크기와는 무관하게 성능 향상이 발생하는가?
• RQ2 총 파라미터 수를 일정하게 유지할 때 레이어당 특징 맵 수를 늘리면 성능 향상이 발생하는가?
• RQ3 특징 맵 수를 늘릴 경우 성능 향상은 높은 차원의 표현 능력 때문인가, 아니면 관련된 파라미터 수 증가 때문인가?
• RQ4 더 많은 레이어에 파라미터를 분산시키는 것이 더 적은 레이어에 더 많은 특징 맵을 가진 네트워크에 비해 성능을 더 잘 끌어올리는가?
• RQ5 아키텍처 요소를 제어할 때 연결된 가중치를 가진 재귀적 네트워크와 표준 연결되지 않은 네트워크의 성능는 어떻게 비교되는가?

주요 결과

• 파라미터 수와 특징 맵 수를 일정하게 유지하더라도 레이어 수를 늘일수록 성능 향상이 뚜렷하게 발생하여, 깊이 자체가 표현 능력을 향상시킨다는 것을 확인한다.
• 파라미터 수는 성능과 강한 정적 상관관계를 가지며, 파라미터를 여러 레이어에 분산 배분하는 것이 적은 수의 레이어에 집중하는 것보다 더 좋은 성능을 낸다.
• 레이어 수와 파라미터 수를 일정하게 유지하면서 특징 맵 수를 변화시켜도 연결된 모델과 연결되지 않은 모델 간 성능가 거의 동일하여, 특징 맵 차원성이 독립적으로 미치는 영향은 미미하다는 것을 시사한다.
• 파라미터 수와 레이어 수를 고정한 상태에서 연결된 모델과 연결되지 않은 모델 간 성능 차이가 거의 없어, 특징 맵 수가 파라미터 수 외에 모델 용량에 크게 기여하지 않는다는 것을 의미한다.
• 결과적으로 성능은 주로 레이어 수와 총 파라미터 수에 의해 결정되며, 특징 맵 차원성은 중요하지 않다. 이는 아키텍처 설계 시 특징 맵 크기보다 깊이와 파라미터 할당 전략을 우선시해야 한다는 것을 시사한다.
• 파라미터를 더 많은 레이어에 분산시킨 실험에서 특징 맵 차원이 감소했음에도 성능 향상이 관찰되어, 깊이가 더 넓은 표현보다 더 유익하다는 가설을 지지한다.