[논문 리뷰] SSFN -- Self Size-estimating Feed-forward Network with Low Complexity, Limited Need for Human Intervention, and Consistent Behaviour across Trials

Saikat Chatterjee, Alireza M. Javid외 5명|arXiv (Cornell University)|2019. 05. 17.

Machine Learning and ELM참고 문헌 53인용 수 9

한 줄 요약

이 논문은 볼록 최적화와 무작위 행렬 구조를 사용하여 네트워크 깊이, 너비, 가중치를 동시에 최적화하는 자기 크기 추정 피드포워드 신경망인 SSFN을 제안한다. 이는 랩탑에서 몇 분 내로 저복잡도를 달성하고 몬테카를로 시험에서 일관된 성능을 보이며 최소한의 하이퍼파라미터 튜닝으로 경쟁적인 정확도를 달성한다. 다만 CIFAR-10에서는 성능이 열등하나, 하이브리드 CNN-SSFN 아키텍처를 통해 이를 보완할 수 있다.

ABSTRACT

We design a self size-estimating feed-forward network (SSFN) using a joint optimization approach for estimation of number of layers, number of nodes and learning of weight matrices. The learning algorithm has a low computational complexity, preferably within few minutes using a laptop. In addition the algorithm has a limited need for human intervention to tune parameters. SSFN grows from a small-size network to a large-size network, guaranteeing a monotonically non-increasing cost with addition of nodes and layers. The learning approach uses judicious a combination of `lossless flow property' of some activation functions, convex optimization and instance of random matrix. Consistent performance -- low variation across Monte-Carlo trials -- is found for inference performance (classification accuracy) and estimation of network size.

연구 동기 및 목표

• 최소한의 인간 간섭으로 피드포워드 신경망의 네트워크 깊이와 너비를 자동으로 추정하는 알고리즘적 접근법을 개발한다.
• 아키텍처 탐색의 조합적 복잡도를 해결하기 위해 훈련 비용이 크기 증가에 따라 감소하지 않는 단계적 성장을 가능하게 하여 작은 네트워크에서 큰 네트워크로의 점진적 확장을 가능하게 한다.
• 독립적인 몬테카를로 시험에서 일관된 추론 성능과 크기 추정을 보장하여 재현 가능성과 신뢰성을 향상시킨다.
• 특정 활성화 함수의 '손실 없는 흐름 성질'과 볼록 완화를 활용해 수동 튜닝 없이 분석적 정규화를 도입한다.
• CIFAR-10과 같은 도전적인 데이터셋에서의 성능 한계를 극복하기 위해 CNN 특징을 통합한 하이브리드 아키텍처를 제안한다.

제안 방법

• 훈련 비용이 크기 확장에 따라 증가하지 않도록 보장하면서 단계적으로 레이어와 뉴런을 추가하는 레이어별 최적화 전략을 사용한다.
• 단일 레이어 SSFN에서 ReLU 기반의 '손실 없는 흐름 성질'(LFP)을 활용해 다중 레이어 SSFN의 분석적 정규화 파rameter를 유도한다.
• 가중치 행렬을 학습된 구성요소와 무작위 행렬 인스턴스의 조합으로 구조화하여 비볼록 최적화 문제를 볼록 문제로 변환한다.
• 복잡도를 몇 분 내로 낮추기 위해 볼록 최적화 문제를 효율적으로 해결하기 위해 분할 역할 방법(ADMM)을 적용한다.
• 첫 번째 레이어에 CNN 특징을 입력으로 통합하여 하이브리드 시스템을 구축함으로써 CIFAR-10과 같은 어려운 데이터셋에서의 성능을 향상시킨다.
• 독립적인 실행에서 크기 추정과 추론 정확도의 일관성을 평가하기 위해 몬테카를로 시뮬레이션을 사용한다.

실험 결과

연구 질문

• RQ1 스토캐스틱 성분이 존재하는 바에도 불구하고 SSFN이 독립적인 몬테카를로 시험에서 일관된 네트워크 크기와 성능을 보이는 이유는 무엇인가?
• RQ2 CIFAR-10과 같은 특정 데이터셋에서 SSFN이 실패하는 데 기여하는 기본적인 데이터 통계는 무엇이며, 현재 아키텍처의 한계는 무엇인가?
• RQ3 손실 없는 흐름 성질이 분석적 정규화를 수동 튜닝 없이 유도하는 데 어떤 역할을 하는가?
• RQ4 인간 간섭을 증가시키지 않고 도전적인 데이터셋에서 SSFN의 성능을 향상시킬 수 있는가? 어떤 아키텍처 수정이 이를 가능하게 하는가?
• RQ5 시험 간 크기와 정확도 추정의 관찰된 일관성에 대한 이론적 기반은 무엇인가?

주요 결과

• SSFN은 CIFAR-10를 제외한 모든 데이터셋에서 몬테카를로 시험 간 일관된 분류 정확도와 네트워크 크기를 달성하여 높은 재현성을 보였다.
• MNIST 데이터셋에서 SSFN은 95.55%의 정확도를 달성했으며, 백프로파게이션 미세조정을 통해 97.61%로 향상되었고, Shuttle 데이터셋에선 99.82%의 정확도를 기록했다.
• CIFAR-10에서 SSFN은 단독으로 47.21%의 정확도를 기록하여 최신 기술(98.52%)에 비해 심각한 성능 저하를 보였다.
• 하이브리드 SSFN-CNN 아키텍처는 CIFAR-10 정확도를 76.4%로 향상시켰으며, 독립된 CNN(75.34%)보다 뛰어나고 추가 하이퍼파라미터 튜닝이 필요하지 않았다.
• SSFN 학습 알고리즘의 계산 복잡도는 표준 랩탑에서 모든 여덟 개의 벤치마크 데이터셋에서 몇 분 내로 유지되어 저복잡도임을 확인했다.
• 메서드는 대부분의 하이퍼파라미터가 다양한 데이터셋과 작업 간에 동일하게 유지되며 최소한의 인간 간섭을 요구한다. 이는 표 2에 나타나 있다.