[논문 리뷰] Sentiment Analysis Using Simplified Long Short-term Memory Recurrent Neural Networks

Karthik Gopalakrishnan, Fathi M. Salem|arXiv (Cornell University)|2020. 01. 01.

Topic Modeling참고 문헌 9인용 수 4

한 줄 요약

이 논문은 GOP 토론 트위터 데이터셋에서 감성 분석의 학습 속도를 높이고 계산 비용을 줄이기 위해 여섯 가지 단순화된 LSTM(slim LSTM) 변형을 제안한다. 연구 결과, slim LSTM6는 표준 LSTM과 유사한 성능을 달성하면서도 파라미터 수를 크게 감소시켰으며, 양방향 LSTM 레이어는 전체 정확도를 향상시키고, RMSprop 옵티마이저는 긍정 및 부정 감성 간의 균형 잡힌 분류 성능을 제공함을 확인하였다.

ABSTRACT

LSTM or Long Short Term Memory Networks is a specific type of Recurrent Neural Network (RNN) that is very effective in dealing with long sequence data and learning long term dependencies. In this work, we perform sentiment analysis on a GOP Debate Twitter dataset. To speed up training and reduce the computational cost and time, six different parameter reduced slim versions of the LSTM model (slim LSTM) are proposed. We evaluate two of these models on the dataset. The performance of these two LSTM models along with the standard LSTM model is compared. The effect of Bidirectional LSTM Layers is also studied. The work also consists of a study to choose the best architecture, apart from establishing the best set of hyper parameters for different LSTM Models.

연구 동기 및 목표

• LSTM 네트워크를 사용한 감성 분석에서 계산 비용과 학습 시간을 줄이기 위해.
• GOP 토론 트위터 데이터셋에서 여섯 가지 단순화된 LSTM 아키텍처(slim LSTM)의 성능을 평가하기 위해.
• 감성 분류를 위한 최적의 모델 아키텍처, 하이퍼파라미터 및 학습 설정을 특정하기 위해.
• 양방향 LSTM 레이어와 다양한 옵티마이저가 모델 성능에 미치는 영향을 평가하기 위해.
• 더 나은 일반화를 위해 최적의 배치 크기와 학습-검증 분할 비율을 결정하기 위해.

제안 방법

• 표준 LSTM 네트워크의 여섯 가지 파라미터 감소 버전인 'slim LSTM'을 제안하여 파라미터 수를 최소화하고 학습 속도를 향상시키기 위해.
• 입력, 기록, 출력 게이트를 포함한 표준 LSTM 방정식을 사용: 𝑖𝑡=𝜎(𝑈𝑖ℎ𝑡−1+𝑊𝑖𝑥𝑡+𝑏𝑖), 𝑓𝑡=𝜎(𝑈𝑓ℎ𝑡−1+𝑊𝑓𝑥𝑡+𝑏𝑓), 𝑜𝑡=𝜎(𝑈𝑜ℎ𝑡−1+𝑊𝑜𝑥𝑡+𝑏𝑜), 셀 상태 갱신 𝑐𝑡=𝑖𝑡∗𝑐𝑡−1 + tanh(𝑈𝑐ℎ𝑡−1+W𝑐𝑥𝑡+𝑏𝑐) 및 은닉 상태 ℎ𝑡=𝑜𝑡∗tanh(𝑐𝑡).
• 시퀀스 데이터에서 과거와 미래의 맥락을 모두 포착하기 위해 양방향 LSTM 레이어를 통합하여 장기 의존성 모델링을 향상시킴.
• RMSprop 및 Adam 옵티마이저를 사용하여 모델을 학습시키며, 수렴을 최적화하기 위해 학습률을 3e-4 또는 0.001로 조정함.
• 배치 크기(16, 32, 64, 128)와 학습-검증 분할 비율(0.33, 0.4)을 다양하게 변화시켜 최적의 설정을 식별함.
• 과적합을 완화하기 위해 드롭아웃 레이어를 적용하지만, 더 작은 학습 세트에서 더 나은 성능를 보이며, 이는 단순화된 모델에서 과적합 위험이 낮다는 것을 시사함.

실험 결과

연구 질문

• RQ1 어느 slim LSTM 변형이 성능과 계산 효율성 사이의 최적의 트레이드오프를 달성하는가?
• RQ2 양방향 LSTM 레이어의 포함 여부가 감성 분류 정확도에 어떤 영향을 미치는가?
• RQ3 이 트위터 데이터셋에서 감성 분석을 위한 최적의 배치 크기와 학습-검증 분할 비율은 무엇인가?
• RQ4 RMSprop와 Adam 중 어느 옵티마이저가 긍정 및 부정 감성 분류에서 더 균형 잡힌 성능을 제공하는가?
• RQ5 스리밍을 통한 모델 파라미터 감소가 정확도를 희생시키지 않고 학습 속도를 향상시키는가?

주요 결과

• slim LSTM6 모델은 표준 LSTM(82%)과 유사한 성능을 보이며 전체 정확도 83%를 달성하지만, 계산 비용이 크게 감소함.
• RMSprop 옵티마이저는 Adam보다 긍정 감성(71%)과 부정 감성(81%) 분류 성능을 더 균형 있게 제공함. 반면 Adam은 각각 67%와 83%를 기록함.
• 최적의 배치 크기는 16이며, 이는 가장 높은 전체 정확도를 제공하고 에포크당 더 많은 학습 반복을 가능하게 함.
• 학습-검증 분할 비율 0.4(60% 학습, 40% 검증)가 0.33보다 더 뛰어난 성능을 보였으며, 일반적으로 더 많은 학습 데이터가 항상 결과를 향상시킨다는 가정과는 반대됨.
• LSTM 블록 뒤에 밀도 있는 레이어를 추가하면 파라미터와 학습 시간이 증가하지만 성능 향상 없이 오히려 낭비됨. 이는 이러한 레이어의 사용을 권장하지 않음을 시사함.
• 양방향 LSTM 레이어는 과거와 미래의 시퀀스 포인트에서 맥락을 제공함으로써 전체 시스템 성능을 향상시킴.