[논문 리뷰] Random Hinge Forest for Differentiable Learning

Nathan Lay, Adam P. Harrison외 3명|arXiv (Cornell University)|2018. 02. 12.

Anomaly Detection Techniques and Applications참고 문헌 13인용 수 8

한 줄 요약

이 논문은 확률적 경사 하강법을 사용하여 계산 그래프 내에서 엔드 투 엔드 학습이 가능한 미분 가능한 결합수림 변종인 랜덤 히지 포레스트(RHF)를 소개한다. RHF는 신경망 결합수림과 비슷한 성능을 달성하면서도 훨씬 적은 파라미터를 사용하며, 로그 시간 복잡도의 효율적인 기울기 계산을 가능하게 한다.

ABSTRACT

We propose random hinge forests, a simple, efficient, and novel variant of decision forests. Importantly, random hinge forests can be readily incorporated as a general component within arbitrary computation graphs that are optimized end-to-end with stochastic gradient descent or variants thereof. We derive random hinge forest and ferns, focusing on their sparse and efficient nature, their min-max margin property, strategies to initialize them for arbitrary network architectures, and the class of optimizers most suitable for optimizing random hinge forest. The performance and versatility of random hinge forests are demonstrated by experiments incorporating a variety of of small and large UCI machine learning data sets and also ones involving the MNIST, Letter, and USPS image datasets. We compare random hinge forests with random forests and the more recent backpropagating deep neural decision forests.

연구 동기 및 목표

• 기존의 랜덤 포레스트가 엔드 투 엔드 학습이 불가능하고 고정된 특징에 의존한다는 한계를 극복하기 위해.
• 기타 학습 가능한 구성 요소와 함께 공동 최적화가 가능한 임의의 계산 그래프에 원활하게 통합될 수 있는, 미분 가능한 결합수림을 개발하기 위해.
• 기존의 미분 가능한 결합수림을 향상시키기 위해 수치적 안정성, 로그 시간 복잡도의 기울기 계산, 초기화에 대한 강건성을 확보하기 위해.
• RHF가 표준 벤치마크 데이터셋(표본형, UCI; 이미지, MNIST, USPS, Letter)에서 최신 기술 대비 훨씬 적은 파라미터로 경쟁 가능한 성능을 달성할 수 있음을 입증하기 위해.

제안 방법

• RHF는 조각별 선형 히지 함수를 결정 경계로 사용하여, 부드러운 근사치를 통한 미분 가능한 트리 통과를 가능하게 한다.
• 숲의 각 트리는 랜덤화된 학습 가능한 특징 투영을 사용하여 구성되며, 이는 모델이 유용한 특징 조합을 적응적으로 학습할 수 있도록 한다.
• 희소성과 경로 기반 역전파 덕분에 RHF의 기울기 계산 복잡도는 트리 깊이에 대해 로그 시간 복잡도를 가지며, 이는 이전 방법의 지수적 비용을 피한다.
• 학습의 안정성을 높이고 활성화 함수의 포화 또는 정밀도 손실에 대한 민감도를 줄이기 위해 최소-최대 마진 성질을 활용한다.
• 특정 네트워크 아키텍처(이미지 작업에서의 컨볼루션 특징 맵 포함)에 적응할 수 있도록 초기화 전략을 제안한다.
• RHF는 비확률적 리프 예측 메커니즘이 효율적이므로, 안정성을 확보하기 위해 큰 히스토그램이 필요한 모델과 달리 소형 배치 학습을 지원한다.

실험 결과

연구 질문

• RQ1 확률적 경사 하강법을 사용하여 계산 그래프 내에서 엔드 투 엔드로 효율적으로 학습할 수 있는, 미분 가능한 결합수림이 존재하는가?
• RQ2 기본 벤치마크 데이터셋에서 RHF의 성능는 랜덤 포레스트와 신경망 결합수림과 비교해 어떻게 되는가?
• RQ3 파라미터 효율성과 학습 속도는 RHF의 확장성과 실용적 구현에 어떤 영향을 미치는가?
• RQ4 특히 시그모이드 기반 결합수림과 같은 비선형 대안과 비교할 때, 조각별 선형 결정 경계를 가진 RHF는 일반화 성능가 잘 유지되는가?

주요 결과

• RHF는 MNIST와 USPS에서 신경망 결합수림과 유사한 성능를 보였고, Letter 데이터셋에서는 두 번째로 높은 성능를 기록하며 랜덤 포레스트를 뛰어넘었다.
• MNIST 데이터셋에서 RHF는 신경망 결합수림 대비 약 17배 적은 파라미터를 사용하면서도 경쟁 가능한 정확도를 유지했다.
• RHF는 MNIST에서 1000개의 소형 배치로도 효과적으로 학습되었으며, 히스토그램 안정성을 확보하기 위해 큰 배치가 필요한 신경망 결합수림과는 달리 작동했다.
• RHF의 기울기 계산 복잡도는 트리 깊이에 대해 로그 시간 복잡도로 증가하므로, 큰 숲(예: CPU에서 깊이 10인 1000개의 트리)에서도 빠른 학습이 가능했다.
• Madelon 데이터셋에서는 내적 곱 특징의 성능이 열악하여 RHF가 성능이 떨어졌으며, 이는 학습 가능한 특징가 희박하게 선택되지 않을 경우의 한계를 시사한다.
• RHF의 페르너 변종은 파라미터 수를 약 절반으로 줄였음에도 불구하고 RHF와 유사한 성능를 기록하여 높은 파라미터 효율성을 입증했다.