회귀분석 완벽정리: 단순·다중·로지스틱 회귀와 분석 절차

회귀분석은 독립변수가 종속변수에 미치는 영향을 수식으로 추정하는 통계기법으로, 변수 수와 종속변수 형태에 따라 단순, 다중, 로지스틱, 위계적 회귀로 나뉩니다. 가정 점검, 모형 적합, 계수 해석의 순서로 진행합니다.

회귀분석이란?

회귀분석은 하나 이상의 독립변수(원인)가 종속변수(결과)에 미치는 영향의 크기와 방향을 회귀식으로 추정하는 통계 방법입니다. 상관분석이 두 변수의 관계 강도만 본다면, 회귀분석은 "X가 1 늘면 Y가 얼마나 변하는가"를 계수로 제시하고 예측까지 가능합니다.

논문에서는 주로 가설검정에 쓰입니다. 예를 들어 "직무만족이 조직몰입에 정(+)의 영향을 미친다"는 가설을, 회귀계수의 부호와 유의확률(p값)로 검증합니다.

종속변수가 연속형이고, 변수 간 인과·영향 관계를 검증하거나 예측하려 할 때 사용합니다. 집단 간 평균 비교가 목적이면 t검정이나 분산분석이 더 적합합니다.

변수 수와 종속변수의 형태에 따라 크게 네 가지로 나뉩니다.

종류	독립변수	종속변수	대표 용도
단순회귀	1개	연속형	한 변수의 영향 추정
다중회귀	2개 이상	연속형	여러 요인의 동시 영향 추정
로지스틱 회귀	1개 이상	이분형	사건 발생 확률(오즈비) 추정
위계적 회귀	단계별 투입	연속형	통제변수 대비 추가 설명력(ΔR²) 검증

특히 사회과학 논문에서는 인구통계 변수를 먼저 통제한 뒤 핵심 변수를 투입해 설명력 증가를 보는 위계적 회귀분석과, 매개·조절효과 검증(예: Process macro)이 자주 쓰입니다.

선형성, 독립성, 등분산성, 정규성, 다중공선성 없음의 5가지를 만족해야 결과를 신뢰할 수 있습니다. 가정 위반은 계수와 유의성을 왜곡하므로 분석 전에 반드시 점검합니다.

가정 점검 후 모형을 적합하고, 적합도와 계수를 순서대로 해석합니다.

종속변수와 독립변수를 정하고, 위 5가지 가정을 산점도와 VIF로 먼저 확인합니다. 이분형 결과라면 로지스틱 회귀로 전환합니다.

회귀식을 추정한 뒤 모형 적합도를 봅니다. 결정계수(R²)는 종속변수 분산의 설명 비율, 수정된 R²는 변수 수를 보정한 값이며, F검정으로 모형 전체의 유의성을 판단합니다.

각 독립변수의 비표준화 계수(B)로 영향의 크기를, 표준화 계수(β)로 변수 간 상대적 영향력을 비교합니다. 유의확률(p값)이 기준(보통 .05) 미만이면 통계적으로 유의한 영향으로 해석합니다.

표에 B, 표준오차, β, t값, p값, R², F값을 함께 제시하고, 가정 검정 결과를 각주나 본문에 명시합니다.

절대 기준은 없으며 분야에 따라 다릅니다. 사회과학의 인간 행동 모형은 R²가 0.1~0.3이어도 의미 있을 수 있고, 공학·자연과학은 더 높은 값을 기대합니다. R²만으로 좋은 모형을 판단하지 말고, 가정 충족과 이론적 타당성을 함께 봐야 합니다.

다중회귀는 모든 독립변수를 한 번에 투입하고, 위계적 회귀는 변수를 이론적 순서대로 단계별 투입해 각 단계의 설명력 증분(ΔR²)을 확인합니다. 통제변수의 영향을 제거한 뒤 핵심 변수의 순수 기여를 보고 싶을 때 위계적 회귀를 씁니다.

가정 점검 생략, 다중공선성 방치, 인과관계 과잉 해석이 가장 흔한 실수입니다. 특히 관측(설문) 데이터의 회귀 결과를 인과로 단정하면 안 되며, "영향" 또는 "관련"으로 신중하게 서술해야 합니다.

회귀분석은 가정 점검 → 모형 적합 → 계수 해석 → 보고의 순서로 진행하며, 종속변수 형태(연속형/이분형)와 분석 목적(설명력 증분/매개·조절)에 따라 종류를 선택합니다. 결과는 R² 하나가 아니라 가정 충족과 이론적 정합성으로 함께 판단하세요.

관련 방법으로는 두 변수 관계를 보는 상관분석, 여러 잠재변수의 인과 구조를 동시에 검증하는 구조방정식, 매개·조절효과 검증이 있습니다.