[논문 리뷰] $\Pi-$nets: Deep Polynomial Neural Networks

Grigorios G. Chrysos, Stylianos Moschoglou외 4명|arXiv (Cornell University)|2020. 03. 08.

Advanced Neural Network Applications참고 문헌 62인용 수 4

한 줄 요약

이 논문은 입력의 고차수 다항함수를 특수한 스킵 커넥션을 통해 표현하는 새로운 종류의 딥 컨volution 네트워크인 $Π$-Nets를 소개한다. 이는 비선형 활성화 함수에 의존하지 않고도 강력한 표현 학습을 가능하게 한다. 이 방법은 이미지 생성 및 분류에서 최신 기술 수준의 성능을 달성하며, 파rameter 수가 적은 경우에도 성능이 뛰어나며, StyleGAN과 같은 모델의 성공을 다항 표현력으로 설명한다.

ABSTRACT

Deep Convolutional Neural Networks (DCNNs) is currently the method of choice both for generative, as well as for discriminative learning in computer vision and machine learning. The success of DCNNs can be attributed to the careful selection of their building blocks (e.g., residual blocks, rectifiers, sophisticated normalization schemes, to mention but a few). In this paper, we propose $\\Pi$-Nets, a new class of DCNNs. $\\Pi$-Nets are polynomial neural networks, i.e., the output is a high-order polynomial of the input. $\\Pi$-Nets can be implemented using special kind of skip connections and their parameters can be represented via high-order tensors. We empirically demonstrate that $\\Pi$-Nets have better representation power than standard DCNNs and they even produce good results without the use of non-linear activation functions in a large battery of tasks and signals, i.e., images, graphs, and audio. When used in conjunction with activation functions, $\\Pi$-Nets produce state-of-the-art results in challenging tasks, such as image generation. Lastly, our framework elucidates why recent generative models, such as StyleGAN, improve upon their predecessors, e.g., ProGAN.

연구 동기 및 목표

• 입력의 다항함수 근사에 기반해 표현력이 향상된 새로운 종류의 딥 신경망을 개발하는 것.
• 스킵 커넥션을 통해 스타일 기반 생성 모델의 성공 원리를 다항 표현으로 공식화하는 것.
• 비선형 활성화 함수 없이도 생성 및 판별 작업에서 뛰어난 성능을 내는 다항 네트워크의 가능성을 입증하는 것.
• 특수한 스킵 커넥션을 통한 텐서 분해를 이용해 고차수 다항식의 효율적 파arameter화를 가능하게 하는 것.
• 기존 아키텍처를 최소한의 아키텍처 변경으로도 $Π$-넷 구성 요소로 교체함으로써 성능을 크게 향상시킬 수 있도록 하는 것.

제안 방법

• 핵심 메커니즘은 입력의 고차수 다항식을 출력으로 내보내는 특수한 스킵 커넥션으로, 직접적인 다항식 파arameter화에 따른 파arameter 폭발을 방지한다.
• 구조적 텐서 분해에서 유도된 텐서 형태의 요소를 사용하여 아키텍처를 구성하며, 이는 다항식 항을 효율적으로 표현한다.
• 표준 딥 네트워크 패러다임을 일반화하여 활성화 함수를 스킵 커넥션을 통한 다항식 조합적 전개로 대체한다.
• 최소한의 아키텍처 수정으로 판별 작업(예: 이미지 분류)과 생성 작업(예: GAN)에 모두 적용한다.
• 스피ral 컨볼루션을 사용해 그래프 기반 작업으로 확장하며, 다항식 레이어를 메시 및 그래프 신호에 적용한다.
• 기존 모델을 다항 표현력으로 업그레이드할 수 있는 플러그 앤 플레이 연산자인 ProdPoly를 도입한다.

실험 결과

연구 질문

• RQ1 비선형 활성화 함수 없이도 다항함수 근사를 활용해 딥 신경망이 뛰어난 성능을 낼 수 있는가?
• RQ2 StyleGAN과 같은 모델의 스킵 커넥션은 어떻게 생성 성능 향상에 기여하며, 이를 다항 전개로 공식화할 수 있는가?
• RQ3 과도한 파arameter 증가 없이도 딥 네트워크 내에서 고차수 다항 표현을 효율적으로 파arameter화할 수 있는가?
• RQ4 기존 최신 기술 수준의 모델을 표준 레이어 대신 다항 대체 레이어로 교체함으로써 얼마나 향상시킬 수 있는가?
• RQ5 다항 표현력은 이미지, 음성, 3D 메시 등 다양한 신호에서 성능 향상에 기여하는가?

주요 결과

• Prodpoly-ResNet50는 모델 크기와 계산량의 약간의 증가로 Top-5 검증 오차 6.358%를 기록하여 표준 ResNet50(6.838%)를 초월한다.
• 3D 메시 오토에코딩 작업에서 ProdPoly (full) 모델은 재구성 오차 0.474 mm를 기록하여 이전 방법들인 SpiralGNN(0.635 mm)과 MoNet(0.583 mm)를 모두 능가한다.
• 활성화 함수 없이도 Prodpoly 기반 모델은 메시 표현 학습에서 최신 기술 수준의 그래프 학습 연산자보다 낮은 재구성 오차를 기록하며 유사한 추론 속도를 유지한다.
• 제안된 $Π$-넷 프레임워크는 이미지 생성, 분류, 음성 작업 전반에서 성능 향상을 이끌어내며, 최소한의 아키텍처 변경으로도 일관된 성능 향상을 보였다.
• 이 방법은 StyleGAN이 ProGAN보다 성공한 이유를 스타일 인젝션 레이어를 통한 고차수 다항 표현 유도로 설명한다.
• 이 프레임워크는 ResNet이나 GNNs를 다항 네트워크로 변환하는 플러그 앤 플레이 업그레이드를 가능하게 하며, 측정 가능한 성능 향상을 제공한다.