[논문 리뷰] The Heterogeneity Hypothesis: Finding Layer-Wise Dissimilated Network Architecture.

Yawei Li, Wen Li외 5명|arXiv (Cornell University)|2020. 06. 29.

Advanced Neural Network Applications참고 문헌 26인용 수 4

한 줄 요약

이 논문은 '이질성 가설(heterogeneity hypothesis)'을 제안하며, 넓은 기준 네트워크를 양자화하여 생성한 계층별로 다른 구조를 가진 네트워크(LW-DNA)가 표준 아키텍처보다 더 높은 성능을 내며 더 낮은 모델 복잡도를 달성할 수 있음을 주장한다. 이 방법은 추가적인 학습 비용 없이 최적의 계층별 채널 구성 구성을 식별하며, 이미지 분류, 시각 추적, 이미지 복원 작업 전반에서 일관되게 베이스라인을 능가한다.

ABSTRACT

In this paper, we tackle the problem of convolutional neural network design. Instead of focusing on the overall architecture design, we investigate a design space that is usually overlooked, \ie adjusting the channel configurations of predefined networks. We find that this adjustment can be achieved by pruning widened baseline networks and leads to superior performance. Base on that, we articulate the ``heterogeneity hypothesis'': with the same training protocol, there exists a layer-wise dissimilated network architecture (LW-DNA) that can outperform the original network with regular channel configurations under lower level of model complexity. The LW-DNA models are identified without added computational cost and training time compared with the original network. This constraint leads to controlled experiment which directs the focus to the importance of layer-wise specific channel configurations. Multiple sources of hints relate the benefits of LW-DNA models to overfitting, \ie the relative relationship between model complexity and dataset size. Experiments are conducted on various networks and datasets for image classification, visual tracking and image restoration. The resultant LW-DNA models consistently outperform the compared baseline models.

연구 동기 및 목표

• 합성곱 신경망에서 채널 구성 조정의 미비하게 탐색된 설계 공간을 조사하기 위해.
• 표준 네트워크 설계에서 모든 계층에 동일한 채널 구성이 적용되는 한계를 해결하기 위해.
• 계층별로 특정 채널 구성이 더 낮은 복잡도로 더 높은 성능을 낼 수 있는지 확인하기 위해.
• 성능 향상이 일반화 능력 향상에 기인한다는 것을 검증하기 위해, 특히 데이터셋 크기와 모델 복잡도와의 관계에서.
• 학습 비용이나 계산 오버헤드를 증가시키지 않고도 높은 성능을 내는 LW-DNA 모델을 식별하는 방법을 개발하기 위해.

제안 방법

• 기존의 넓은 기준 네트워크를 양자화하여 최적의 채널 구성이 적용된 계층별로 다른 구조를 가진 네트워크(LW-DNA)를 식별하기 위해.
• 각 모델 간 채널 구성의 영향을 분리하기 위해 모든 모델에 동일한 학습 프로토콜을 적용하기 위해.
• LW-DNA 식별에 추가적인 학습 비용이나 시간이 들지 않도록 원본 네트워크와 동일한 학습 설정을 사용하기 위해.
• 모델 복잡도와 데이터셋 크기 간의 관계를 분석하여 과적합 감소로 인한 성능 향상을 설명하기 위해.
• 다양한 아키텍처와 데이터셋을 통해 LW-DNA 모델을 체계적으로 평가하여 일반화 능력을 검증하기 위해.
• 과적합 동역학의 통찰을 바탕으로 계층별 채널 구성 구성을 안내하기 위해.

실험 결과

연구 질문

• RQ1 계층별로 다른 구조를 가진 네트워크(LW-DNA)는 더 낮은 모델 복잡도로 표준 아키텍처보다 더 높은 성능을 낼 수 있는가?
• RQ2 LW-DNA의 성능 향상은 일반화 능력 향상에서 기인하는가? 특히 데이터셋 크기와 모델 복잡도와의 관계에서?
• RQ3 원본 네트워크에 비해 추가적인 학습 비용이나 계산 오버헤드 없이 LW-DNA를 식별할 수 있는가?
• RQ4 모델 복잡도와 데이터셋 크기 간의 상대적 관계가 LW-DNA의 효과성에 어떻게 영향을 주는가?
• RQ5 LW-DNA 모델은 이미지 분류, 시각 추적, 이미지 복원과 같은 다양한 작업에 얼마나 일반화되는가?

주요 결과

• LW-DNA 모델은 다양한 이미지 분류 벤치마크에서 표준 기준 네트워크를 일관되게 능가한다.
• 제안된 방법은 학습 시간이나 계산 비용을 증가시키지 않고도 높은 성능을 내는 LW-DNA 아키텍처를 식별한다.
• 성능 향상은 특히 모델 복잡도가 데이터셋 크기에 잘 맞춰진 경우 과적합 감소로 기인한다.
• 이질성 가설은 검증되었다: 더 낮은 복잡도로 원본 네트워크를 능가하는 계층별로 다른 아키텍처가 존재한다.
• 시각 추적 및 이미지 복원을 포함한 다양한 작업에 대한 실험을 통해 LW-DNA 모델의 강건성과 일반화 능력이 확인되었다.
• 최적의 채널 구성은 계층별로 특화되어 있으며, 균일하고 대칭적인 설계로는 이를 포괄할 수 없다.